Запустите тесты класса производительности мультимедиа

Набор тестов на совместимость с Android (CTS) включает в себя тесты класса производительности мультимедиа для устройств под управлением Android 11 и более поздних версий. Поскольку процесс тестирования различается для устройств под управлением Android 13 и Android 11 или Android 12, обязательно следуйте инструкциям для версии Android, установленной на вашем устройстве.

Скачать тесты

Загрузите следующие тесты:

Тестирование устройств на базе Android 14 и выше

Выполнить тесты качества кодирования видео (VEQ) класса производительности 14 (PC14)

В Android 14 введены требования к качеству кодирования видео (VEQ) для устройств класса производительности 14 (PC14). Требования PC14-VEQ, по сути, определяют базовые требования к качеству в измеримой форме для аппаратных видеокодеров на устройствах PC14.

Цель состоит в том, чтобы гарантировать, что каждое Android-устройство, относящееся к классу производительности 14, обеспечит конечным пользователям первоклассный опыт работы с мультимедиа за счет создания высококачественного видеоконтента.

Требования PC14-VEQ проверяются новым тестом CTS под названием CtsVideoEncodingQualityHostTest .

Этот тест CTS запускает набор тестовых случаев кодирования, заданных в конфигурационных JSON-файлах. Для каждого тестового случая кривая зависимости скорости передачи данных от искажений (RD) тестируемого кодера генерируется путём кодирования битового потока с использованием настроек кодера из JSON-файла. Эталонная кривая зависимости скорости передачи данных от искажений включена в тот же JSON-файл. Для вычисления искажений (то есть потери качества) используется файл Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json .

Тестовый случай может быть пройден успешно только в том случае, если его результат BDRATE-VMAF меньше или равен нулю.

Тест PC14-VEQ CTS охватывает конфигурации кодирования, включая следующие:

  • Аппаратные кодеры AVC и HEVC
  • Режим управления скоростью VBR
  • Кодирование P-кадра/B-кадра
  • 1920x1080p30 кадров в секунду (альбомная ориентация) или 1080x1920p30 кадров в секунду (портретная ориентация)

Тестирование устройств на базе Android 13 и выше

Перед началом тестового запуска подготовьте устройства для тестирования:

  1. Настройте устройство на объявление класса производительности мультимедиа 13 (PC13), установив значение системного свойства _ro.odm.build.media_performance_class равным 33 .

  2. Убедитесь, что образ системы устройства соответствует Android 13 или более поздней версии. Хотя тесты Media CTS можно выполнять на образе системы Android 11 или более поздней версии, для тестов Camera CTS требуются функции Android 13 для PC13.

Проведите тесты ITS камеры

Чтобы запустить только тесты ITS камеры, сначала задайте серийные номера устройства и планшета в config.yml , а затем выполните следующие команды:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Проведение тестов эффективности медиа-ресурсов

План тестирования cts-media-performance-class проверяет требования CDD к классу производительности носителя ( раздел CDD 2.2.7.1 ) и требованиям к камере ( раздел CDD 2.2.7.2 ). Запустите план тестирования cts-media-performance-class используя следующую команду:

cts-tradefed run cts-media-performance-class

Чтобы запустить только тесты CTS камеры, используйте следующую команду:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Чтобы запустить только тесты CTS носителя, используйте следующую команду:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Запустить тесты MediaDrm CTS

Тесты MediaDrm CTS проверяют требования MediaDrm, изложенные в разделе 2.2.7.1 CDD. Запустите тесты MediaDrm CTS, используя следующие команды:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Запуск тестов CTS файловой системы

Тесты CTS файловой системы проверяют требования к производительности, изложенные в разделе 2.2.7.4 CDD.

  • Для проверки требований последовательного чтения и записи используйте следующую команду:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Для проверки требований к случайному чтению и записи используйте следующую команду:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Тестирование устройств Android 11 или 12

Для тестирования устройств под управлением Android 11 или 12 сначала настройте тестовые устройства (настройка отличается в зависимости от версии Android и отладки пользователя по сравнению с пользовательскими устройствами), затем запустите тесты CTS и CTS Verifier.

Рекламируйте класс по медиа-производительности

Чтобы настроить тестовые устройства для объявления правильного класса производительности с помощью системного свойства ro.odm.build.media_performance_class , выполните следующие действия:

  • Для класса производительности 12 (PC12) установите значение свойства равным 31 .

  • Для класса производительности 11 (PC11) установите значение свойства равным 30 .

Устройства отладки пользователя

Чтобы настроить устройства отладки Android, выполните следующие команды:

  • Устройства отладки пользователя Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Устройства отладки пользователя Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Системное свойство ro.odm.build.media_performance_class можно задать только один раз за перезагрузку (но перезагружать устройство перед его первой настройкой не нужно).

Пользовательские устройства

Чтобы настроить устройства Android для отладки, добавьте свойство ro.odm.build.media_performance_class с нужным значением класса производительности в файл product.prop . Пример показан ниже: 

ro.odm.build.media_performance_class=31   // use 30 for PC11

Для пользовательских устройств под управлением Android 11 выполните следующие дополнительные действия:

  1. Выберите [1627181] Добавить свойство класса производительности мультимедиа в патч sepolicy .

  2. Выполните следующую команду: 

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Проведение тестов CTS и ITS

Соберите CTS и CTS Verifier с применением загруженных исправлений, затем запустите соответствующую версию Android для ваших тестовых устройств (Android 11 CTS для устройств Android 11, Android 12 CTS для устройств Android 12).

СМИ

Запустите тесты CTS носителя с помощью следующей команды: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Камера

Запустите тесты CTS камеры с помощью следующих команд: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Для устройств под управлением Android 12 выполните следующую команду: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Аппаратное обеспечение

Запустите аппаратные тесты CTS с помощью следующих команд: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest