Chạy kiểm thử Lớp hiệu suất nội dung đa phương tiện

Bộ kiểm thử tính tương thích với Android (CTS) bao gồm các bài kiểm thử lớp hiệu suất nội dung nghe nhìn cho các thiết bị chạy Android 11 trở lên. Vì quy trình kiểm thử khác nhau giữa các thiết bị chạy Android 13 và các thiết bị chạy Android 11 hoặc Android 12, hãy nhớ làm theo hướng dẫn cho phiên bản Android đang chạy trên thiết bị của bạn.

Tải nội dung kiểm thử xuống

Tải các bài kiểm thử sau xuống:

Kiểm thử các thiết bị chạy Android 14 trở lên

Chạy kiểm tra hiệu suất Lớp 14 (PC14) – Chất lượng mã hoá video (VEQ)

Android 14 ra mắt tính năng Chất lượng mã hoá video (VEQ) các yêu cầu đối với thiết bị Performance Class 14 (PC14). Các yêu cầu về PC14-VEQ về cơ bản xác định yêu cầu mục tiêu chất lượng cơ sở theo cách có thể đo lường cho bộ mã hoá video HW trên thiết bị PC14.

Mục tiêu là để đảm bảo rằng mỗi thiết bị Android được phân cụm trong báo cáo Hiệu suất Lớp 14 mang lại trải nghiệm nghe nhìn cao cấp cho người dùng cuối bằng cách tạo ra trải nghiệm chất lượng cao nội dung video.

Các yêu cầu của PC14-VEQ được xác minh bằng một quy trình kiểm thử CTS mới có tên là CtsVideoEncodingQualityHostTest.

Bài kiểm thử CTS này chạy một nhóm các trường hợp kiểm thử mã hoá do cấu hình xác định Tệp JSON. Đối với mỗi trường hợp thử nghiệm, đường cong độ méo tốc độ (RD) của bộ mã hoá đang được kiểm tra sẽ được tạo bằng cách mã hoá luồng bit bằng chế độ cài đặt bộ mã hoá qua tệp JSON. Đường cong độ méo tỷ lệ tham chiếu được đưa vào cùng một tệp JSON. Hợp nhất đánh giá đa phương pháp video (VMAF) vmaf_v0.6.1.json được dùng để tính toán độ méo (tức là giảm chất lượng).

Một trường hợp kiểm thử chỉ có thể vượt qua khi kết quả BDRATE-VMAF của trường hợp đó nhỏ hơn hoặc bằng về 0.

Bài kiểm thử CTS PC14-VEQ bao gồm các cấu hình mã hoá sau:

  • Bộ mã hoá phần cứng AVC và HEVC
  • Chế độ kiểm soát tốc độ VBR
  • Mã hoá khung hình P/khung hình B
  • 1920x1080p30 khung hình/giây (Ngang) hoặc 1080x1920p30 khung hình/giây (Dọc)

Kiểm thử thiết bị chạy Android 13 trở lên

Trước khi bắt đầu chạy kiểm thử, hãy chuẩn bị thiết bị để kiểm thử:

  1. Thiết lập thiết bị để quảng cáo lớp hiệu suất nội dung nghe nhìn 13 (PC13) bằng cách đặt giá trị thuộc tính hệ thống _ro.odm.build.media_performance_class thành 33.

  2. Đảm bảo rằng hình ảnh hệ thống của thiết bị là Android 13 trở lên. Mặc dù bạn có thể chạy thử nghiệm Media CTS trên Android 11 trở lên hình ảnh hệ thống, các bài kiểm thử CTS của máy ảnh yêu cầu Android 13 cho PC13.

Chạy kiểm thử ITS của máy ảnh

Để chỉ chạy các kiểm thử ITS của máy ảnh, trước tiên, hãy đặt cả số sê-ri của thiết bị và máy tính bảng trong config.yml, sau đó chạy các lệnh sau:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Chạy bài kiểm thử lớp hiệu suất nội dung nghe nhìn

Kế hoạch kiểm thử cts-media-performance-class xác minh các yêu cầu của CDD đối với yêu cầu về lớp hiệu suất nội dung nghe nhìn (CDD Mục 2.2.7.1) và yêu cầu về máy ảnh (CDD Mục 2.2.7.2). Chạy kế hoạch kiểm thử cts-media-performance-class bằng lệnh sau:

cts-tradefed run cts-media-performance-class

Để chỉ chạy các bài kiểm thử CTS của máy ảnh, hãy sử dụng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Để chỉ chạy các kiểm thử CTS về nội dung nghe nhìn, hãy sử dụng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Chạy kiểm thử MediaDrm CTS

Các bài kiểm thử MediaDrm CTS xác minh các yêu cầu về MediaDrm trong Mục 2.2.7.1 của CDD. Chạy kiểm thử MediaDrm CTS bằng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Chạy kiểm tra CTS hệ thống tệp

Các kiểm thử CTS về Hệ thống tệp sẽ xác minh các yêu cầu về Hiệu suất trong Mục 2.2.7.4 của CDD.

  • Để kiểm thử các yêu cầu đọc và ghi tuần tự, hãy sử dụng lệnh sau:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Để kiểm thử các yêu cầu đọc và ghi ngẫu nhiên, hãy dùng lệnh sau:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Kiểm thử thiết bị chạy Android 11 hoặc 12

Để kiểm thử các thiết bị chạy Android 11 hoặc 12, trước tiên, hãy thiết lập các thiết bị kiểm thử (quy trình thiết lập khác nhau giữa phiên bản Android và userdebug so với thiết bị người dùng), sau đó chạy các kiểm thử CTS và trình xác minh CTS.

Quảng cáo lớp hiệu suất nội dung nghe nhìn

Hãy làm theo các bước sau để thiết lập thiết bị thử nghiệm nhằm quảng cáo đúng thiết bị lớp hiệu suất bằng hệ thống ro.odm.build.media_performance_class thuộc tính:

  • Đối với lớp hiệu suất 12 (PC12), hãy đặt giá trị của thuộc tính thành 31.

  • Đối với lớp hiệu suất 11 (PC11), hãy đặt giá trị của thuộc tính thành 30.

Thiết bị Userdebug

Để thiết lập thiết bị userdebug Android, hãy chạy các lệnh sau:

  • Thiết bị userdebug Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Thiết bị userdebug Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Bạn chỉ có thể thiết lập thuộc tính hệ thống ro.odm.build.media_performance_class một lần mỗi lần khởi động lại (nhưng bạn không cần khởi động lại thiết bị trước khi đặt chế độ này thời gian).

Thiết bị của người dùng

Để thiết lập thiết bị gỡ lỗi người dùng Android, hãy thêm phương thức ro.odm.build.media_performance_class tài sản có hiệu suất mong muốn vào tệp product.prop. Sau đây là ví dụ minh hoạ:

ro.odm.build.media_performance_class=31   // use 30 for PC11

Đối với thiết bị của người dùng chạy Android 11, hãy thực hiện thêm các bước sau:

  1. Chọn lựa chọn [1627181] Thêm thuộc tính lớp hiệu suất nội dung nghe nhìn vào sepolicy bản vá.

  2. Chạy lệnh sau:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Chạy thử nghiệm CTS và ITS

Tạo CTS và Trình xác minh CTS bằng các bản vá đã tải xuống, sau đó chạy phiên bản Android thích hợp cho thiết bị kiểm thử (CTS Android 11 cho thiết bị Android 11, CTS Android 12 cho thiết bị Android 12).

Nội dung nghe nhìn

Chạy thử nghiệm CTS cho nội dung đa phương tiện bằng lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Camera

Chạy kiểm thử CTS cho máy ảnh bằng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Đối với các thiết bị chạy Android 12, hãy chạy lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Phần cứng

Chạy chương trình kiểm thử CTS phần cứng bằng cách sử dụng các lệnh sau:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest