Kết quả kiểm thử CTS được đặt trong tệp:
CTS_ROOT/android-cts/results/start_time.zip
Nếu bạn tự tạo CTS, thì CTS_ROOT sẽ tương tự như out/host/linux-x86/cts nhưng khác nhau theo nền tảng. Đây là đường dẫn nơi bạn đã giải nén CTS chính thức được tạo sẵn tải xuống từ trang web này.
Trong tệp zip, tệp test_result.xml chứa kết quả thực tế.
Hiển thị kết quả trên Android 10 trở lên
Tệp test_result.html nằm trong tệp lưu trữ zip, bạn có thể mở trực tiếp tệp này trong mọi trình duyệt web tương thích với HTML5
Hiển thị kết quả trước Android 10
Mở tệp test_result.xml trong bất kỳ trình duyệt web nào tương thích với HTML5 để xem kết quả kiểm thử
Nếu tệp này hiển thị một trang trống khi bạn dùng trình duyệt Chrome, hãy thay đổi cấu hình trình duyệt để bật cờ dòng lệnh --allow-file-access-from-files.
Đọc kết quả kiểm thử
Thông tin chi tiết về kết quả kiểm thử phụ thuộc vào phiên bản CTS mà bạn đang sử dụng:
- CTS phiên bản 1 cho Android 6.0 trở xuống
- CTS phiên bản 2 cho Android 7.0 trở lên
Thông tin thiết bị
Trong CTS phiên bản 1 trở xuống, hãy chọn Device Information (Thông tin thiết bị) (đường liên kết phía trên phần Test Summary (Tóm tắt kiểm thử)) để xem thông tin chi tiết về thiết bị, chương trình cơ sở (nhà sản xuất, kiểu máy, bản dựng chương trình cơ sở, nền tảng) và phần cứng thiết bị (độ phân giải màn hình, bàn phím, loại màn hình). CTS phiên bản 2 không hiển thị thông tin thiết bị.
Tóm tắt thử nghiệm
Phần Tóm tắt kiểm thử cung cấp thông tin chi tiết về kế hoạch kiểm thử đã thực thi, chẳng hạn như tên kế hoạch CTS và thời gian bắt đầu và kết thúc thực thi. Báo cáo này cũng trình bày thông tin tóm tắt tổng hợp về số lượng kiểm thử đã vượt qua, không vượt qua, hết thời gian chờ hoặc không thể thực thi.
Bản tóm tắt về bài kiểm thử mẫu CTS Android 10
Hình 1: Tóm tắt bài kiểm thử mẫu CTS Android 10
Bản tóm tắt thử nghiệm mẫu CTS phiên bản 2
Hình 2: Bản tóm tắt kiểm thử mẫu CTS phiên bản 2
Bản tóm tắt thử nghiệm mẫu CTS phiên bản 1
Hình 3: Bản tóm tắt bài kiểm thử mẫu CTS phiên bản 1
Báo cáo thử nghiệm
Phần tiếp theo, báo cáo kiểm thử CTS, cung cấp thông tin tóm tắt về số lượng kiểm thử đã vượt qua cho mỗi gói.
Tiếp theo là thông tin chi tiết về các kiểm thử thực tế đã được thực thi. Báo cáo này liệt kê gói kiểm thử, bộ kiểm thử, trường hợp kiểm thử và các kiểm thử đã thực thi. Nó cho thấy kết quả của quá trình thực thi kiểm thử – đạt, không đạt, hết thời gian chờ hoặc chưa được thực thi. Trong trường hợp kiểm thử không thành công, thông tin chi tiết sẽ được cung cấp để giúp chẩn đoán nguyên nhân.
Ngoài ra, dấu vết ngăn xếp của lỗi có trong tệp XML nhưng không có trong báo cáo để đảm bảo tính ngắn gọn – việc xem tệp XML bằng trình chỉnh sửa văn bản sẽ cung cấp thông tin chi tiết về lỗi kiểm thử (tìm thẻ [Test] tương ứng với kiểm thử không thành công và tìm thẻ [StackTrace] trong thẻ đó).
Hiện báo cáo kiểm thử mẫu CTS phiên bản 2
Hình 4: Báo cáo kiểm thử mẫu CTS phiên bản 2
Hiện báo cáo thử nghiệm mẫu CTS phiên bản 1
Hình 5: Báo cáo kiểm thử mẫu CTS phiên bản 1
Xem lại test_result.xml cho các mô-đun kiểm thử chưa hoàn tất
Để xác định số lượng mô-đun chưa hoàn chỉnh trong một phiên kiểm thử nhất định, hãy chạy lệnh "list results" (liệt kê kết quả). Số lượng Mô-đun đã hoàn thành và Tổng số mô-đun được liệt kê cho mỗi phiên trước đó. Để xác định những mô-đun đã hoàn tất và chưa hoàn tất, hãy mở tệp test_result.xml rồi đọc giá trị của thuộc tính "done" cho từng mô-đun trong báo cáo kết quả. Các mô-đun có giá trị done = "false" chưa chạy xong.
Phân loại các lần kiểm thử thất bại
Hãy sử dụng các đề xuất sau để phân loại các lỗi kiểm thử.
- Xác minh rằng môi trường CTS được thiết lập đúng cách, nếu một bài kiểm thử không thành công do các điều kiện tiên quyết không chính xác. Điều này bao gồm môi trường thực tế, chế độ thiết lập máy tính và chế độ thiết lập thiết bị Android.
- Xác minh tính ổn định của thiết bị, chế độ thiết lập kiểm thử hoặc các vấn đề về môi trường, nếu một kiểm thử xuất hiện quá nhiều lần không ổn định.
- Thử lại kiểm thử riêng biệt nếu vẫn không thành công.
- Kiểm tra các yếu tố bên ngoài gây ra lỗi kiểm thử, chẳng hạn như:
- Thiết lập môi trường. Ví dụ: chế độ thiết lập máy tính không đúng cách có thể là nguyên nhân gây ra lỗi kiểm thử xảy ra trên tất cả Thiết bị đang kiểm thử (DUT) (bao gồm cả thiết bị tham chiếu).
- Phần phụ thuộc bên ngoài. Ví dụ: nếu một hoạt động kiểm thử không thành công trên tất cả các thiết bị ở nhiều trang web bắt đầu tại một thời điểm cụ thể, thì có thể là do URL không hợp lệ.
- Nếu DUT không có bản vá bảo mật, thì việc kiểm thử bảo mật không thành công là điều có thể dự đoán được.
- Xác thực và phân tích sự khác biệt giữa các thiết bị vượt qua và không vượt qua quy trình kiểm tra.
- Phân tích câu khẳng định, nhật ký, báo cáo lỗi và nguồn CTS. Đối với HostTest, câu khẳng định và nhật ký có thể rất chung chung, vì vậy, bạn nên kiểm tra và đính kèm logcat của thiết bị.
- Gửi bản vá cải thiện quy trình kiểm thử để giảm số lần kiểm thử không thành công.
Lưu kết quả một phần
Tradefed không lưu kết quả kiểm thử một phần khi lệnh gọi kiểm thử không thành công.
Khi Tradefed không tạo ra kết quả kiểm thử nào, điều đó có nghĩa là đã xảy ra một vấn đề nghiêm trọng trong quá trình chạy kiểm thử, do đó khiến kết quả kiểm thử không đáng tin cậy. Kết quả một phần được coi là không hữu ích vì không cung cấp giá trị khi điều tra vấn đề về thiết bị.