Chạy kiểm thử CTS tự động (Android 11 trở lên)

Có hai cách để chạy kiểm thử tự động CTS:

  • Trade Federation là một ứng dụng và khung kiểm thử cho phép bạn chạy kiểm thử qua dòng lệnh. Về cơ bản, khung này cho phép bạn chú thích các bài kiểm thử bằng chú thích @Test và ứng dụng sẽ tìm và chạy các bài kiểm thử đó.

  • OmniLab Android Test Station là một ứng dụng cho phép bạn chạy các chương trình kiểm thử trong GUI.

Trang này giải thích cách chạy kiểm thử tự động bằng Trade Federation. Để biết hướng dẫn về cách chạy kiểm thử bằng Bộ kiểm thử Android OmniLab, hãy xem phần Trạm kiểm thử Android OmniLab.

Chạy tất cả kiểm thử CTS tự động

Trade Federation chứa bảng điều khiển CTS, một giao diện dòng lệnh để chạy kiểm thử. Cách chạy toàn bộ bộ kiểm thử CTS tự động:

  1. Đảm bảo bạn đã làm theo hướng dẫn trong bài viết Thiết lập tính năng kiểm thử tự động CTS.

  2. Trên máy trạm kiểm thử, hãy chạy bảng điều khiển CTS bằng cách chạy tập lệnh cts-tradefed từ thư mục đã giải nén gói CTS:

    ./android-cts/tools/cts-tradefed

    Bảng điều khiển CTS hiển thị một con trỏ để bạn nhập các lệnh CTS (cts-tradefed >).

  3. Kế hoạch kiểm thử cts chứa tất cả các kiểm thử CTS tự động. Thực thi lệnh sau để chạy kế hoạch kiểm thử cts:

    run cts

    Các kiểm thử CTS tự động sẽ thực thi. Xin lưu ý những điều sau:

    • Android 13 trở lên hỗ trợ kiểm thử trên nhiều thiết bị. Các kiểm thử này chỉ chạy tự động khi bạn sử dụng tính năng phân đoạn. Để biết thêm thông tin về việc phân đoạn, hãy xem phần Cải thiện thời gian thực thi kiểm thử. Nếu bạn muốn chạy các chương trình kiểm thử này theo cách thủ công, hãy xem phần Chạy chương trình kiểm thử trên nhiều thiết bị.

    • Bất cứ khi nào chạy CTS, hãy nhấn tổ hợp phím ctrl+c để dừng bảng điều khiển CTS hiện có rồi chạy lại bảng điều khiển CTS.

    • Bạn không thể chạy nhiều phiên bản CTS trên một máy chủ vì mỗi phiên bản sẽ mở bằng một máy chủ mã vị trí mở (OLC) hiện có.

  4. Xem kết quả kiểm thử. Để biết thêm thông tin, hãy xem phần Diễn giải kết quả CTS.

  5. Nếu đây là lần chạy kiểm thử đầu tiên, có thể có một số kiểm thử không thành công do các vấn đề nằm ngoài tầm kiểm soát của bạn. Ví dụ: kết nối mạng có thể chậm hoặc tín hiệu GPS có thể yếu. Chạy lại (thử lại) các chương trình kiểm thử cho đến khi tất cả mô-đun kiểm thử hoàn tất và số lần kiểm thử không thành công giống nhau giữa hai phiên thử lại gần đây nhất:

    run retry --retry session_number`

  6. Sau khi các lần kiểm thử không thành công đều nhất quán trong các lần thử lại, hãy tập trung gỡ lỗi các lần kiểm thử không thành công còn lại. Để biết thông tin về cách khắc phục sự cố liên quan đến kết quả kiểm thử, hãy xem phần Phân loại các lỗi kiểm thử và Khắc phục sự cố kiểm thử CTS.

Chạy CTS cho thiết bị nhiều màn hình

Nếu thiết bị của bạn đang chạy Android 11 hoặc 12 và có nhiều màn hình, bạn phải chạy riêng kế hoạch kiểm thử cts-foldable:

run cts-foldable

Các trường hợp kiểm thử đã vượt qua hoặc không vượt qua cho chế độ màn hình thay thế được thêm vào bằng giá trị từ display_mode, ví dụ: testcase1[display_mode=0].

Chạy kiểm thử trên nhiều thiết bị

Thực thi lệnh sau để chạy kế hoạch kiểm thử cts-multidevice:

run cts-multidevice

Chạy các kế hoạch kiểm thử riêng lẻ

Thay vì chạy tất cả kế hoạch kiểm thử cùng một lúc, bạn có thể chạy từng kế hoạch kiểm thử. Tuỳ chọn này hữu ích để tiết kiệm thời gian và tập trung vào một nhóm kiểm thử cụ thể. Cách chạy một kế hoạch kiểm thử riêng lẻ:

  1. Xác định tên của kế hoạch kiểm thử mà bạn muốn chạy bằng cách thực thi lệnh list modules.

  2. Chạy kế hoạch kiểm thử:

    run cts --plan test_module_or_plan_name

Cải thiện thời gian thực thi kiểm thử

Nếu muốn cải thiện thời gian thực thi kiểm thử, bạn có thể phân đoạn kiểm thử trên nhiều thiết bị. Tính năng phân đoạn yêu cầu máy chủ lưu trữ kết nối ít nhất hai thiết bị, nhưng bạn nên kết nối 6 thiết bị trở lên để đạt được hiệu quả cao.

Để phân đoạn kiểm thử trên Android 11 trở lên, hãy chạy:

run cts --shard-count number_of_shards

Ngoài ra, trước khi chạy kiểm thử để xác thực, bạn có thể cải thiện thời gian thực thi kiểm thử bằng cách sử dụng lệnh run cts-dev của CTS. Lệnh này bỏ qua các điều kiện tiên quyết, tính năng thu thập thông tin thiết bị và tất cả trình kiểm tra trạng thái hệ thống. Công cụ này cũng chỉ chạy các bài kiểm thử trên một ABI duy nhất.