Chạy kiểm thử lớp hiệu suất nội dung đa phương tiện

Bộ kiểm tra tính tương thích (CTS) với Android bao gồm lớp hiệu suất nội dung nghe nhìn các bài kiểm thử dành cho thiết bị chạy Android 11 trở lên. Do quy trình thử nghiệm không giống nhau giữa thiết bị chạy Android 13 và thiết bị đang chạy Android 11 hoặc Android 12, nhớ làm theo hướng dẫn dành cho phiên bản Android chạy trên các thiết bị của bạn.

Tải nội dung kiểm thử xuống

Tải các chương trình kiểm thử sau xuống:

Kiểm thử các thiết bị chạy Android 14 trở lên

Chạy kiểm tra hiệu suất Lớp 14 (PC14) – Chất lượng mã hoá video (VEQ)

Android 14 ra mắt tính năng Chất lượng mã hoá video (VEQ) các yêu cầu đối với thiết bị Performance Class 14 (PC14). Các yêu cầu về PC14-VEQ về cơ bản xác định yêu cầu mục tiêu chất lượng cơ sở theo cách có thể đo lường cho bộ mã hoá video HW trên thiết bị PC14.

Mục tiêu là để đảm bảo rằng mỗi thiết bị Android được phân cụm trong báo cáo Hiệu suất Lớp 14 mang lại trải nghiệm nghe nhìn cao cấp cho người dùng cuối bằng cách tạo ra trải nghiệm chất lượng cao nội dung video.

Các yêu cầu PC14-VEQ được xác minh bằng một thử nghiệm CTS mới có tên là CtsVideoEncodingQualityHostTest.

Bài kiểm thử CTS này chạy một nhóm các trường hợp kiểm thử mã hoá do cấu hình xác định Tệp JSON. Đối với mỗi trường hợp thử nghiệm, đường cong độ méo tốc độ (RD) của bộ mã hoá đang được kiểm tra sẽ được tạo bằng cách mã hoá luồng bit bằng chế độ cài đặt bộ mã hoá qua tệp JSON. Đường cong tốc độ biến dạng tham chiếu được đưa vào cùng Tệp JSON. Hợp nhất đánh giá đa phương pháp video (VMAF) vmaf_v0.6.1.json được dùng để tính toán độ méo (tức là giảm chất lượng).

Một trường hợp kiểm thử chỉ có thể vượt qua khi kết quả BDRATE-VMAF của trường hợp đó nhỏ hơn hoặc bằng về 0.

Thử nghiệm PC14-VEQ CTS bao gồm các cấu hình mã hóa bao gồm:

  • Bộ mã hoá HW AVC và HEVC HW
  • Chế độ kiểm soát tốc độ VBR
  • Mã hoá P-Frame/B-frame
  • 1920x1080p30 khung hình/giây (Ngang) hoặc 1080x1920p30 khung hình/giây (Dọc)

Kiểm thử các thiết bị chạy Android 13 trở lên

Trước khi bắt đầu chạy kiểm thử, hãy chuẩn bị thiết bị để kiểm thử:

  1. Thiết lập thiết bị để quảng cáo lớp hiệu suất truyền thông 13 (PC13) bằng cách cài đặt giá trị thuộc tính hệ thống _ro.odm.build.media_performance_class thành 33.

  2. Đảm bảo rằng ảnh hệ thống của thiết bị là Android 13 hoặc cao hơn. Mặc dù bạn có thể chạy thử nghiệm Media CTS trên Android 11 trở lên hình ảnh hệ thống, các bài kiểm thử CTS của máy ảnh yêu cầu Android 13 cho PC13.

Chạy thử nghiệm ITS cho máy ảnh

Để chỉ chạy kiểm tra ITS cho máy ảnh, trước tiên hãy đặt cả nối tiếp thiết bị và máy tính bảng số trong config.yml, rồi chạy các lệnh sau:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Chạy bài kiểm thử lớp hiệu suất nội dung nghe nhìn

Gói kiểm thử cts-media-performance-class xác minh các yêu cầu của CDD đối với yêu cầu về lớp hiệu suất phương tiện (phần CDD 2.2.7.1) và các yêu cầu về camera (CDD Mục 2.2.7.2). Chạy cts-media-performance-class kế hoạch kiểm thử bằng lệnh sau:

cts-tradefed run cts-media-performance-class

Để chỉ chạy các bài kiểm thử CTS của máy ảnh, hãy sử dụng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Để chỉ chạy các bài kiểm thử CTS về nội dung nghe nhìn, hãy dùng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Chạy kiểm thử MediaDrm CTS

Các thử nghiệm CTS MediaDrm xác minh các yêu cầu của MediaDrm trong mục CDD 2.2.7.1. Chạy kiểm thử MediaDrm CTS bằng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Chạy kiểm tra CTS hệ thống tệp

Bài kiểm tra CTS của hệ thống tệp xác minh các yêu cầu về Hiệu suất trong mục CDD 2.2.7.4.

  • Để kiểm thử các yêu cầu đọc và ghi tuần tự, hãy sử dụng lệnh sau:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Để kiểm thử các yêu cầu đọc và ghi ngẫu nhiên, hãy dùng lệnh sau:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Kiểm thử thiết bị chạy Android 11 hoặc 12

Để kiểm thử các thiết bị chạy Android 11 hoặc 12, trước tiên, hãy thiết lập thiết bị thử nghiệm (thiết lập khác nhau giữa phiên bản Android và gỡ lỗi người dùng so với thiết bị của người dùng), thì hãy chạy CTS và trình xác minh CTS (Bộ kiểm tra tính tương thích).

Quảng cáo lớp hiệu suất truyền thông

Hãy làm theo các bước sau để thiết lập thiết bị thử nghiệm nhằm quảng cáo đúng thiết bị lớp hiệu suất bằng hệ thống ro.odm.build.media_performance_class thuộc tính:

  • Đối với lớp hiệu suất 12 (PC12), hãy đặt giá trị của thuộc tính thành 31.

  • Đối với lớp hiệu suất 11 (PC11), hãy đặt giá trị của thuộc tính thành 30.

Thiết bị gỡ lỗi người dùng

Để thiết lập thiết bị gỡ lỗi cho người dùng Android, hãy chạy các lệnh sau:

  • Thiết bị gỡ lỗi cho người dùng Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Thiết bị gỡ lỗi cho người dùng Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Bạn chỉ có thể thiết lập thuộc tính hệ thống ro.odm.build.media_performance_class một lần mỗi lần khởi động lại (nhưng bạn không cần khởi động lại thiết bị trước khi đặt chế độ này thời gian).

Thiết bị của người dùng

Để thiết lập thiết bị gỡ lỗi người dùng Android, hãy thêm phương thức ro.odm.build.media_performance_class tài sản có hiệu suất mong muốn vào tệp product.prop. Sau đây là ví dụ minh hoạ:

ro.odm.build.media_performance_class=31   // use 30 for PC11

Đối với thiết bị của người dùng chạy Android 11, hãy thực hiện thêm các bước sau:

  1. Chọn lựa chọn [1627181] Thêm thuộc tính lớp hiệu suất nội dung nghe nhìn vào sepolicy bản vá.

  2. Chạy lệnh sau:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Chạy thử nghiệm CTS và ITS

Tạo CTS và Trình xác minh CTS có áp dụng bản vá đã tải xuống, sau đó chạy phiên bản Android phù hợp cho thiết bị thử nghiệm (Android 11 CTS dành cho Android 11, Android 12 CTS đối với thiết bị chạy Android 12).

Nội dung nghe nhìn

Chạy thử nghiệm CTS cho nội dung đa phương tiện bằng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Camera

Chạy chương trình kiểm thử CTS của máy ảnh bằng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Đối với các thiết bị chạy Android 12, hãy chạy lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Phần cứng

Chạy chương trình kiểm thử CTS phần cứng bằng cách sử dụng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest