Запустите тесты класса производительности мультимедиа

Набор тестов на совместимость с Android (CTS) включает тесты класса производительности мультимедиа для устройств под управлением Android 11 или выше. Поскольку процесс тестирования отличается для устройств под управлением Android 13 и устройств под управлением Android 11 или Android 12, обязательно следуйте инструкциям для версии Android, работающей на ваших устройствах.

Скачать тесты

Загрузите следующие тесты:

Тестирование устройств на базе Android 14 или выше

Выполнить тесты класса производительности 14 (PC14) — качество кодирования видео (VEQ)

Android 14 вводит требования к качеству кодирования видео (VEQ) для устройств класса производительности 14 (PC14). Требования PC14-VEQ по сути определяют базовые требования к качеству в измеримой форме для видеокодеров HW на устройстве PC14.

Цель состоит в том, чтобы гарантировать, что каждое устройство Android, относящееся к классу производительности 14, обеспечивает конечным пользователям первоклассный мультимедийный опыт за счет создания высококачественного видеоконтента.

Требования PC14-VEQ проверяются новым тестом CTS под названием CtsVideoEncodingQualityHostTest .

Этот тест CTS запускает набор тестовых случаев кодирования, определенных файлами конфигурации JSON. Для каждого тестового случая кривая скорости-искажения (RD) тестируемого кодера генерируется путем кодирования битового потока с использованием настроек кодера из файла JSON. Эталонная кривая скорости-искажения включена в тот же файл JSON. Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json используется для вычисления искажения (то есть потери качества).

Тестовый случай считается пройденным успешно только в том случае, если его результат BDRATE-VMAF меньше или равен нулю.

Тест PC14-VEQ CTS охватывает конфигурации кодирования, включая следующие:

  • Аппаратные кодеры AVC и HEVC
  • Режим управления скоростью VBR
  • Кодирование P-кадра/B-кадра
  • 1920x1080p30fps (пейзаж) или 1080x1920p30fps (портрет)

Тестирование устройств на базе Android 13 или выше

Перед началом тестового запуска подготовьте устройства для тестирования:

  1. Настройте устройство для объявления класса производительности мультимедиа 13 (PC13), установив системное свойство _ro.odm.build.media_performance_class равным 33 .

  2. Убедитесь, что образ системы устройства — Android 13 или выше. Хотя вы можете запустить тесты Media CTS на образе системы Android 11 или выше, тесты CTS камеры требуют функций Android 13 для PC13.

Запустите тесты ITS камеры

Чтобы запустить только тесты ITS камеры, сначала задайте серийные номера устройства и планшета в config.yml , а затем выполните следующие команды:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Проведение тестов производительности медиа-класса

План тестирования cts-media-performance-class проверяет требования CDD для требований класса производительности носителя ( раздел CDD 2.2.7.1 ) и требований камеры ( раздел CDD 2.2.7.2 ). Запустите план тестирования cts-media-performance-class с помощью следующей команды:

cts-tradefed run cts-media-performance-class

Чтобы запустить только тесты CTS камеры, используйте следующую команду:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Чтобы запустить только тесты CTS носителя, используйте следующую команду:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Запустите тесты MediaDrm CTS

Тесты MediaDrm CTS проверяют требования MediaDrm в разделе CDD 2.2.7.1 . Запустите тесты MediaDrm CTS, используя следующие команды:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Запуск тестов CTS файловой системы

Тесты CTS файловой системы проверяют требования к производительности, изложенные в разделе 2.2.7.4 CDD.

  • Для проверки требований последовательного чтения и записи используйте следующую команду:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Для проверки требований к произвольному чтению и записи используйте следующую команду:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Тестирование устройств Android 11 или 12

Для тестирования устройств под управлением Android 11 или 12 сначала настройте тестовые устройства (настройка отличается в зависимости от версии Android и отладки пользователя по сравнению с пользовательскими устройствами), затем запустите тесты CTS и CTS verifier.

Рекламируйте класс производительности СМИ

Чтобы настроить тестовые устройства для объявления правильного класса производительности с использованием системного свойства ro.odm.build.media_performance_class , выполните следующие действия:

  • Для класса производительности 12 (PC12) установите значение свойства равным 31 .

  • Для класса производительности 11 (PC11) установите значение свойства равным 30 .

Устройства отладки пользователя

Чтобы настроить устройства Android userdebug, выполните следующие команды:

  • Устройства отладки пользователя Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Устройства отладки пользователя Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Системное свойство ro.odm.build.media_performance_class можно задать только один раз за перезагрузку (но вам не нужно перезагружать устройство перед его первой настройкой).

Пользовательские устройства

Чтобы настроить устройства Android userdebug, добавьте свойство ro.odm.build.media_performance_class с нужным значением класса производительности в файл product.prop . Пример показан ниже: 

ro.odm.build.media_performance_class=31   // use 30 for PC11

Для пользовательских устройств под управлением Android 11 выполните следующие дополнительные действия:

  1. Выберите [1627181] Добавить свойство класса производительности мультимедиа в исправление sepolicy .

  2. Выполните следующую команду: 

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Проведение тестов CTS и ITS

Соберите CTS и CTS Verifier с применением загруженных исправлений, затем запустите соответствующую версию Android для ваших тестовых устройств (Android 11 CTS для устройств Android 11, Android 12 CTS для устройств Android 12).

СМИ

Запустите тесты CTS носителя с помощью следующей команды: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Камера

Запустите тесты CTS камеры, используя следующие команды: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Для устройств под управлением Android 12 выполните следующую команду: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Аппаратное обеспечение

Запустите аппаратные тесты CTS, используя следующие команды: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest