Kết quả kiểm tra CTS được đặt trong tệp:
CTS_ROOT/android-cts/results/start_time.zip
Nếu bạn đã tự xây dựng CTS, CTS_ROOT giống out/host/linux-x86/cts nhưng khác nhau tùy theo nền tảng. Điều này phản ánh đường dẫn mà bạn đã giải nén CTS chính thức dựng sẵn được tải xuống từ trang này.
Bên trong zip, tệp test_result.xml chứa kết quả thực tế.
Hiển thị kết quả Android 10 trở lên
Tệp test_result.html tồn tại trong kho lưu trữ zip, bạn có thể trực tiếp mở tệp đó trong bất kỳ trình duyệt web tương thích HTML5 nào
Hiển thị kết quả trước Android 10
Mở tệp test_result.xml trong bất kỳ trình duyệt web tương thích HTML5 nào để xem kết quả kiểm tra
Nếu tệp này hiển thị một trang trống khi sử dụng trình duyệt Chrome, hãy thay đổi cấu hình trình duyệt của bạn để bật cờ dòng lệnh --allow-file-access-from-files .
Đọc kết quả kiểm tra
Chi tiết về kết quả kiểm tra tùy thuộc vào phiên bản CTS bạn đang sử dụng:
- CTS v1 dành cho Android 6.0 trở về trước
- CTS v2 dành cho Android 7.0 trở lên
Thông tin thiết bị
Trong CTS v1 trở về trước, hãy chọn Thông tin thiết bị (liên kết phía trên Tóm tắt kiểm tra) để xem chi tiết về thiết bị, chương trình cơ sở (nhà sản xuất, kiểu máy, bản dựng chương trình cơ sở, nền tảng) và phần cứng thiết bị (độ phân giải màn hình, bàn phím, loại màn hình). CTS v2 không hiển thị thông tin thiết bị.
Tóm tắt thử nghiệm
Phần Tóm tắt Kiểm tra cung cấp chi tiết về kế hoạch kiểm tra đã thực hiện, chẳng hạn như tên kế hoạch CTS và thời gian bắt đầu và kết thúc thực hiện. Nó cũng trình bày một bản tóm tắt tổng hợp về số lượng thử nghiệm đã đạt, không thành công, hết thời gian chờ hoặc không thể thực hiện được.
Tóm tắt thử nghiệm mẫu Android 10 CTS
Hình 1: Tóm tắt thử nghiệm mẫu Android 10 CTS
Tóm tắt thử nghiệm mẫu CTS v2
Hình 2: Tóm tắt thử nghiệm mẫu CTS v2
Tóm tắt thử nghiệm mẫu CTS v1
Hình 3: Tóm tắt thử nghiệm mẫu CTS v1
Báo cáo thử nghiệm
Phần tiếp theo, báo cáo thử nghiệm CTS, cung cấp bản tóm tắt các thử nghiệm đã đạt trên mỗi gói.
Tiếp theo là chi tiết về các thử nghiệm thực tế đã được thực hiện. Báo cáo liệt kê gói kiểm thử, bộ kiểm thử, trường hợp kiểm thử và các kiểm thử đã thực hiện. Nó hiển thị kết quả của việc thực hiện kiểm thử—đạt, không đạt, hết thời gian hoặc không được thực hiện. Trong trường hợp kiểm tra thất bại, chi tiết sẽ được cung cấp để giúp chẩn đoán nguyên nhân.
Hơn nữa, dấu vết ngăn xếp của lỗi có sẵn trong tệp XML nhưng không được đưa vào báo cáo để đảm bảo tính ngắn gọn—việc xem tệp XML bằng trình soạn thảo văn bản sẽ cung cấp chi tiết về lỗi kiểm tra (tìm kiếm thẻ [Kiểm tra] tương ứng với thử nghiệm thất bại và tìm trong đó thẻ [StackTrace] ).
Hiển thị báo cáo thử nghiệm mẫu CTS v2
Hình 4: Báo cáo thử nghiệm mẫu CTS v2
Hiển thị báo cáo thử nghiệm mẫu CTS v1
Hình 5: Báo cáo thử nghiệm mẫu CTS v1
Xem lại test_result.xml để biết các mô-đun kiểm tra chưa hoàn chỉnh
Để xác định số lượng mô-đun chưa hoàn thành trong một phiên kiểm tra nhất định, hãy chạy lệnh 'liệt kê kết quả'. Số lượng Mô-đun đã hoàn thành và Tổng số Mô-đun được liệt kê cho mỗi phiên trước đó. Để xác định mô-đun nào đã hoàn thành và chưa hoàn thiện, hãy mở tệp test_result.xml và đọc giá trị của thuộc tính "xong" cho từng mô-đun trong báo cáo kết quả. Các mô-đun có giá trị done = "false" chưa chạy đến khi hoàn thành.
Phân loại thử nghiệm thất bại
Sử dụng những gợi ý sau để phân loại các lỗi kiểm tra.
- Xác minh môi trường CTS của bạn được thiết lập chính xác nếu thử nghiệm không thành công do điều kiện tiên quyết không chính xác. Điều này bao gồm môi trường vật lý, thiết lập máy tính để bàn và thiết lập thiết bị Android.
- Xác minh độ ổn định của thiết bị, thiết lập thử nghiệm hoặc các vấn đề về môi trường nếu thử nghiệm có vẻ không ổn định quá mức.
- Thử lại bài kiểm tra một cách riêng biệt nếu vẫn thất bại.
- Kiểm tra các yếu tố bên ngoài gây ra lỗi kiểm thử, chẳng hạn như:
- Thiết lập môi trường. Ví dụ: thiết lập máy tính để bàn bị định cấu hình sai có thể là nguyên nhân gây ra lỗi kiểm tra xảy ra trên tất cả các thiết bị đang được kiểm tra (DUT) (bao gồm cả các thiết bị tham chiếu).
- Sự phụ thuộc bên ngoài. Ví dụ: nếu thử nghiệm không thành công trên tất cả các thiết bị trong nhiều trang web bắt đầu tại một thời điểm cụ thể thì URL không hợp lệ có thể bị lỗi.
- Nếu DUT không bao gồm bản vá bảo mật thì có thể lỗi kiểm tra bảo mật của nó sẽ xảy ra.
- Xác thực và phân tích sự khác biệt giữa các thiết bị đạt và không đạt.
- Phân tích xác nhận, nhật ký, báo cáo lỗi và nguồn CTS . Đối với HostTest, xác nhận và nhật ký có thể rất chung chung nên việc kiểm tra và đính kèm logcat thiết bị cũng rất hữu ích.
- Gửi bản vá cải tiến thử nghiệm để giúp giảm lỗi thử nghiệm.
Lưu một phần kết quả
Tradefed không lưu một phần kết quả kiểm tra khi lệnh gọi kiểm tra không thành công.
Khi Tradefed không tạo ra bất kỳ kết quả kiểm tra nào, điều đó có nghĩa là đã xảy ra sự cố nghiêm trọng trong quá trình chạy thử nghiệm, do đó làm cho kết quả kiểm tra không đáng tin cậy. Kết quả một phần được coi là không hữu ích vì nó không cung cấp giá trị khi điều tra sự cố của thiết bị.