Trade Federation là một khung kiểm thử liên tục để chạy kiểm thử trên thiết bị Android. Để chạy Bộ kiểm thử tính tương thích (CTS), trước tiên, hãy đọc bài viết Tổng quan về Liên minh thương mại để biết nội dung giải thích về khung kiểm thử Tradefed.
Cách chạy kế hoạch kiểm thử:
- Thiết lập Thiết bị đang được kiểm thử (DUT) theo cách thiết lập thiết bị Android.
- Đảm bảo rằng bạn đã cài đặt các phiên bản mới nhất của cả Cầu gỡ lỗi Android (adb) và Công cụ đóng gói tài nguyên Android (AAPT), đồng thời thêm vị trí của các công cụ đó vào đường dẫn hệ thống của máy. Để biết thông tin về cách cài đặt các công cụ đó, hãy xem bài viết Thiết lập CTS: ADB và AAPT.
- Tải các bản dựng CTS đã phát hành xuống máy chủ lưu trữ Linux và giải nén bản dựng đó vào vị trí lưu trữ.
- Kết nối ít nhất một thiết bị. Cách chuẩn bị DUT:
- Nhấn nút home (màn hình chính) để chuyển thiết bị sang màn hình chính.
- Không sử dụng DUT cho bất kỳ tác vụ nào khác.
- Giữ DUT ở vị trí cố định để tránh kích hoạt hoạt động của cảm biến.
- Hướng camera của thiết bị vào một vật thể có thể lấy nét.
- Không nhấn phím nào trên thiết bị trong khi CTS đang chạy. Việc nhấn phím hoặc chạm vào màn hình của DUT sẽ gây cản trở các chương trình kiểm thử đang chạy và có thể dẫn đến việc kiểm thử không thành công.
Chạy tập lệnh cts-tradefed của bảng điều khiển CTS từ thư mục đã giải nén gói CTS. Trên shell dòng lệnh của máy chủ, hãy chạy:
./android-cts/tools/cts-tradefed
Chạy kế hoạch kiểm thử mặc định (chứa tất cả các gói kiểm thử):
- Đối với CTS 11 trở xuống
cts-tradefed > run cts
Đối với CTS 12 trở lên
cts-console > run cts
Nếu muốn cải thiện thời gian thực thi kiểm thử, bạn có thể phân đoạn kiểm thử trên nhiều thiết bị. Tính năng phân đoạn yêu cầu máy chủ lưu trữ kết nối ít nhất hai thiết bị, nhưng bạn nên kết nối ít nhất 6 thiết bị để đạt được hiệu quả cao. Khi phân đoạn nhiều thiết bị:
Đối với Android 9 trở lên, hãy sử dụng tuỳ chọn lệnh
--shard-count number_of_shards
Đối với Android 8.1 trở xuống, hãy sử dụng tuỳ chọn lệnh
--shards number_of_shards
Nếu không muốn chạy toàn bộ bộ kiểm thử, bạn có thể chạy kế hoạch CTS mà bạn chọn từ dòng lệnh:
run cts --plan test_plan_name
Cách tìm tên kế hoạch kiểm thử:
Đối với Android 7.0 trở lên, để xem danh sách các mô-đun kiểm thử, hãy nhập
list modules
Đối với Android 6.0 trở xuống, để xem danh sách các kế hoạch kiểm thử trong kho lưu trữ, hãy nhập
list plans
Đối với Android 6.0 trở xuống, để xem danh sách các gói kiểm thử trong kho lưu trữ, hãy nhập
list packages
Để biết thêm các tuỳ chọn lệnh tuỳ thuộc vào phiên bản CTS, hãy tham khảo tài liệu tham khảo về lệnh của bảng điều khiển hoặc trong phần "help all" (trợ giúp tất cả) trong bảng điều khiển Tradefed.
- Đối với CTS 11 trở xuống
Chạy nhiều phiên Thử lại cho đến khi tất cả mô-đun kiểm thử hoàn tất và số lần kiểm thử không thành công giống nhau trong hai phiên thử lại gần đây nhất.
Đối với Android 9 trở lên, hãy sử dụng
run retry --retry session_number --shard-count number_of_shards
Đối với Android 7.0–8.1, hãy sử dụng
run cts --retry session_number --shards number_of_shards
Để biết thêm các tuỳ chọn lệnh Thử lại tuỳ thuộc vào phiên bản CTS, hãy xem Bảng điều khiển lệnh CTS v2.
Để hiểu thông tin chi tiết về cách triển khai tính năng thử lại CTS, hãy xem bài viết Thử lại Trade Federation Suite.
Chỉ chạy phiên thử lại trên các kiểm thử có tham số không đạt. Các kiểm thử tham số hoá đã vượt qua sẽ không được thử lại.
Đối với Android 11 trở lên, tuỳ chọn lệnh thử lại sau đây được bật theo mặc định trong lệnh
run cts:run retry --retry
--new-parameterized-handling
Xem tiến trình và kết quả kiểm thử được báo cáo trên bảng điều khiển.
Chạy CTS bằng Android Test Station
Android Test Station là một công cụ tự động hoá kiểm thử mà các nhà phát triển Android và kỹ sư kiểm thử có thể sử dụng để sử dụng giao diện người dùng cho việc chạy các bộ kiểm thử tiêu chuẩn. Công cụ này hoạt động với Bộ kiểm tra tính tương thích với Android (CTS).
Công cụ này được cung cấp công khai thông qua Hướng dẫn sử dụng ATS và mã của công cụ này là nguồn mở trong AOSP (multitest_transport, tradefed_cluster).
Chạy CTS cho Chế độ thay thế
Bản phát hành CTS 10 R4 thêm một kế hoạch kiểm thử cho các thiết bị có chế độ thay thế hoặc cho các thiết bị có nhiều màn hình. Thực thi kế hoạch kiểm thử chế độ thay thế bằng cách sử dụng run cts-foldable.
Các trường hợp kiểm thử đã vượt qua hoặc không vượt qua cho chế độ màn hình thay thế được thêm vào bằng giá trị từ display_mode, ví dụ: testcase1[display_mode=0].
Trong CTS 13, API DeviceStateManager cho phép chạy các mô-đun kiểm thử có tuỳ chọn cấu hình sau trên các trạng thái thiết bị khác nhau của thiết bị có thể gập lại.
Quá trình thực thi kiểm thử diễn ra tự động trong CTS dựa trên trạng thái gập màn hình được xác định trong thiết bị mà không cần chạy kế hoạch kiểm thử cts-foldable.
<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />
Kiểm thử nhiều thiết bị trong CTS
Android 13 trở lên hỗ trợ kiểm thử nhiều thiết bị.
Các kiểm thử yêu cầu nhiều thiết bị sẽ tự động thực thi trong quá trình chạy CTS.
CTS 13 bao gồm một số kiểm thử trên nhiều thiết bị sẽ tự động kích hoạt khi bạn sử dụng tính năng phân đoạn. Mặc dù việc kiểm thử không yêu cầu thay đổi thêm đối với chế độ thiết lập thực tế, nhưng bạn cần cài đặt virtualenv để các kiểm thử chạy đúng cách. Để biết thông tin chi tiết, hãy xem phần Gói nhiều thiết bị.
Chạy kiểm thử trên nhiều thiết bị
Để chạy kiểm thử nhiều thiết bị một cách độc lập, hãy sử dụng mã sau:
cts-tradefed > run cts-multidevice
Tất cả các tuỳ chọn thông thường đều được hỗ trợ. Để nhắm đến các thiết bị cụ thể, hãy thêm --serial <serial1> --serial <serial2>, v.v. cho số lượng thiết bị được nhắm đến.
Để tự động kích hoạt các chương trình kiểm thử nhiều thiết bị, hãy sử dụng tính năng phân đoạn, như trong --shard-count 2.