Kết quả kiểm thử CTS được đặt trong tệp:
CTS_ROOT/android-cts/results/start_time.zip
Nếu bạn tự xây dựng CTS, CTS_ROOT sẽ giống với out/host/linux-x86/cts nhưng khác nhau tuỳ theo nền tảng. Đây là đường dẫn nơi bạn đã giải nén CTS chính thức tạo sẵn tải xuống từ trang web này.
Bên trong tệp zip, tệp test_result.xml chứa kết quả thực tế.
Hiển thị kết quả cho Android 10 trở lên
Tệp test_result.html tồn tại trong tệp lưu trữ zip, bạn có thể mở trực tiếp tệp này trong bất kỳ trình duyệt web nào tương thích với HTML5
Hiển thị kết quả trước Android 10
Mở tệp test_result.xml trong bất kỳ trình duyệt web nào tương thích với HTML5 để xem kết quả kiểm thử
Nếu tệp này hiển thị trang trống khi sử dụng trình duyệt Chrome, hãy thay đổi cấu hình trình duyệt để bật cờ dòng lệnh --allow-file-access-from-files.
Đọc kết quả kiểm thử
Thông tin chi tiết của kết quả kiểm thử phụ thuộc vào phiên bản CTS mà bạn đang sử dụng:
- CTS phiên bản 1 cho Android 6.0 trở xuống
- CTS v2 cho Android 7.0 trở lên
Thông tin thiết bị
Trong CTS phiên bản 1 trở về trước, hãy chọn Device Information (Thông tin thiết bị) (đường liên kết phía trên Test Summary (Tóm tắt kiểm thử)) để xem thông tin chi tiết về thiết bị, phần mềm cơ sở (nhãn hiệu, kiểu máy, bản dựng phần mềm cơ sở, nền tảng) và phần cứng thiết bị (độ phân giải màn hình, bàn phím, loại màn hình). CTS v2 không hiển thị thông tin thiết bị.
Tóm tắt thử nghiệm
Phần Tóm tắt kiểm thử cung cấp thông tin chi tiết về kế hoạch kiểm thử đã thực thi, chẳng hạn như tên kế hoạch CTS và thời gian bắt đầu và kết thúc thực thi. Tệp này cũng trình bày bản tóm tắt tổng hợp về số lượng kiểm thử đã vượt qua, không vượt qua, hết thời gian chờ hoặc không thể thực thi.
Tóm tắt kiểm thử mẫu Android 10 CTS
Hình 1: Bản tóm tắt kiểm thử mẫu CTS của Android 10
Tóm tắt về thử nghiệm mẫu CTS phiên bản 2
Hình 2: Tóm tắt kiểm thử mẫu CTS v2
Tóm tắt kiểm thử mẫu CTS phiên bản 1
Hình 3: Tóm tắt kiểm thử mẫu CTS phiên bản 1
Báo cáo kiểm thử
Phần tiếp theo, báo cáo kiểm thử CTS, cung cấp thông tin tóm tắt về các kiểm thử đã vượt qua theo gói.
Tiếp theo là thông tin chi tiết về các kiểm thử thực tế đã được thực thi. Báo cáo này liệt kê gói kiểm thử, bộ kiểm thử, trường hợp kiểm thử và các chương trình kiểm thử đã thực thi. Thẻ này cho biết kết quả của quá trình thực thi kiểm thử – đạt, không đạt, hết thời gian chờ hoặc không được thực thi. Trong trường hợp kiểm thử không thành công, thông tin chi tiết sẽ được cung cấp để giúp chẩn đoán nguyên nhân.
Ngoài ra, dấu vết ngăn xếp của lỗi có trong tệp XML nhưng không được đưa vào báo cáo để đảm bảo tính ngắn gọn. Việc xem tệp XML bằng trình soạn thảo văn bản sẽ cung cấp thông tin chi tiết về lỗi kiểm thử (tìm thẻ [Test] tương ứng với kiểm thử không thành công và tìm thẻ [StackTrace] trong thẻ đó).
Hiện báo cáo thử nghiệm mẫu CTS v2
Hình 4: Báo cáo kiểm thử mẫu CTS v2
Hiện báo cáo kiểm thử mẫu CTS v1
Hình 5: Báo cáo kiểm thử mẫu CTS phiên bản 1
Xem lại test_result.xml để biết các mô-đun kiểm thử chưa hoàn tất
Để xác định số lượng mô-đun chưa hoàn tất trong một phiên kiểm thử nhất định, hãy chạy lệnh "list results" (danh sách kết quả). Số lượng Mô-đun đã hoàn thành và Tổng số Mô-đun được liệt kê cho mỗi phiên trước đó. Để xác định mô-đun nào đã hoàn tất và mô-đun nào chưa hoàn tất, hãy mở tệp test_result.xml và đọc giá trị của thuộc tính "done" cho mỗi mô-đun trong báo cáo kết quả. Các mô-đun có giá trị done = "false" chưa chạy xong.
Phân loại các lần kiểm thử không thành công
Hãy sử dụng các đề xuất sau đây để phân loại các lỗi kiểm thử.
- Xác minh rằng bạn đã thiết lập đúng môi trường CTS nếu kiểm thử không thành công do các điều kiện tiên quyết không chính xác. Bước này bao gồm môi trường thực tế, cách thiết lập máy tính và thiết lập thiết bị Android.
- Xác minh độ ổn định của thiết bị, chế độ thiết lập kiểm thử hoặc các vấn đề về môi trường nếu kiểm thử xuất hiện quá nhiều lỗi.
- Thử lại kiểm thử riêng biệt nếu vẫn không thành công.
- Kiểm tra các yếu tố bên ngoài gây ra lỗi kiểm thử, chẳng hạn như:
- Thiết lập môi trường. Ví dụ: việc thiết lập máy tính để bàn được định cấu hình không chính xác có thể là nguyên nhân gây ra lỗi kiểm thử trên tất cả Thiết bị đang kiểm thử (DUT) (bao gồm cả thiết bị tham chiếu).
- Các phần phụ thuộc bên ngoài. Ví dụ: nếu một thử nghiệm không thành công trên tất cả thiết bị trong nhiều trang web kể từ một thời điểm cụ thể, thì có thể lỗi là do một URL không hợp lệ.
- Nếu DUT không bao gồm bản vá bảo mật, thì kiểm thử bảo mật của DUT sẽ không thành công.
- Xác thực và phân tích sự khác biệt giữa các thiết bị vượt qua và không vượt qua.
- Phân tích câu nhận định, nhật ký, báo cáo lỗi và nguồn CTS. Đối với HostTest, câu nhận định và nhật ký có thể rất chung chung, vì vậy, bạn cũng nên kiểm tra và đính kèm logcat của thiết bị.
- Gửi bản vá cải thiện kiểm thử để giúp giảm số lần kiểm thử không thành công.
Lưu một phần kết quả
Tradefed không lưu một phần kết quả kiểm thử khi lệnh gọi kiểm thử không thành công.
Khi Tradefed không tạo ra kết quả kiểm thử nào, điều này ngụ ý rằng một vấn đề nghiêm trọng đã xảy ra trong quá trình chạy kiểm thử, do đó làm cho kết quả kiểm thử không đáng tin cậy. Kết quả một phần được coi là không hữu ích vì không cung cấp giá trị khi điều tra vấn đề về thiết bị.