Запустите тесты класса производительности мультимедиа

Пакет тестов совместимости Android (CTS) включает тесты производительности мультимедиа для устройств под управлением Android 11 или более поздних версий. Поскольку процесс тестирования различается для устройств под управлением Android 13 и устройств под управлением Android 11 или Android 12, обязательно следуйте инструкциям для версии Android, установленной на вашем устройстве.

Скачать тесты

Загрузите следующие тесты:

Протестируйте устройства под управлением Android 14 или более поздних версий.

В этом разделе описаны тесты, необходимые для устройств, работающих под управлением Android 14 или более поздней версии.

Выполните тесты качества кодирования видео (VEQ) класса производительности 14 (PC14).

В Android 14 введены требования к качеству кодирования видео (VEQ) для устройств класса производительности 14 (PC14). Требования PC14-VEQ, по сути, определяют базовый целевой уровень качества, поддающийся измерению, для аппаратных видеокодеров на устройстве PC14.

Цель состоит в том, чтобы убедиться, что каждое устройство под управлением Android, входящее в класс производительности 14, обеспечивает пользователям высококачественное воспроизведение мультимедийного контента за счет создания видеоконтента высокого качества.

Соответствие требованиям PC14-VEQ проверяется с помощью нового теста CTS под названием CtsVideoEncodingQualityHostTest .

Этот тест CTS запускает набор тестовых случаев кодирования, определенных в конфигурационных JSON-файлах, и использует API Jetpack Media3 Transformer . Для каждого тестового случая генерируется кривая зависимости скорости от искажения (RD) тестируемого кодера путем кодирования битового потока с использованием настроек кодера из JSON-файла. Эталонная кривая зависимости скорости от искажения включена в тот же JSON-файл. Для вычисления искажения (то есть потери качества) используется файл Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json .

Тестовый случай считается пройденным только в том случае, если результат BDRATE-VMAF меньше или равен нулю.

Тест PC14-VEQ CTS охватывает следующие конфигурации кодирования:

  • Аппаратные кодировщики AVC и HEVC
  • режим управления скоростью VBR
  • кодирование P-кадра/B-кадра
  • 1920x1080p30fps (альбомная ориентация) или 1080x1920p30fps (портретная ориентация)

Протестируйте устройства под управлением Android 13 или более поздних версий.

Перед началом тестирования подготовьте устройства к проверке:

  1. Настройте устройство для рекламы класса производительности мультимедиа 13 (PC13), установив значение системного свойства _ro.odm.build.media_performance_class равным 33 .

  2. Убедитесь, что образ системы устройства — Android 13 или выше. Хотя вы можете запускать тесты Media CTS на образе системы Android 11 или выше, для тестов камеры CTS требуются функции Android 13 для PC13.

Запустите тесты ITS камеры

Чтобы запустить только тесты ITS для камер, сначала укажите серийные номера устройства и планшета в config.yml . После настройки запустите тесты для передней и задней камер:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Запустите тесты класса производительности мультимедиа.

План тестирования cts-media-performance-class проверяет соответствие требованиям CDD к классу производительности мультимедиа ( раздел 2.2.7.1 CDD) и требованиям к камере ( раздел 2.2.7.2 CDD). Запустите тест cts-media-performance-class :

cts-tradefed run cts-media-performance-class

Чтобы запустить только тесты CTS камеры:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Чтобы запустить только тесты CTS для медиафайлов:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Запустите тесты MediaDrm CTS

Тесты MediaDrm CTS проверяют соответствие требованиям MediaDrm, изложенным в разделе 2.2.7.1 CDD. Запустите тесты MediaDrm CTS:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Запуск тестов CTS файловой системы

Тесты файловой системы CTS проверяют соответствие требованиям к производительности, изложенным в разделе 2.2.7.4 CDD.

  • Для проверки требований к последовательному чтению и записи:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Для проверки требований к произвольному чтению и записи:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Протестируйте устройства Android 11 или 12.

Для тестирования устройств под управлением Android 11 или 12 сначала настройте тестовые устройства (настройка различается в зависимости от версии Android и отладки пользователем, а также от того, какие устройства являются пользовательскими), а затем запустите тесты CTS и CTS verifier.

Рекламируйте класс повышения эффективности медиакампаний.

Выполните следующие шаги, чтобы настроить тестовые устройства для объявления правильного класса производительности с помощью системного свойства ro.odm.build.media_performance_class :

  • Для класса производительности 12 (PC12) установите значение свойства равным 31 .

  • Для класса производительности 11 (PC11) установите значение свойства равным 30 .

Устройства отладки пользователя

Для настройки отладочных устройств Android:

  • Устройства отладки Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Устройства отладки Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Системное свойство ro.odm.build.media_performance_class можно установить только один раз за перезагрузку (но перезагрузка устройства перед первой установкой не требуется).

Пользовательские устройства

Для настройки пользовательских устройств Android добавьте в файл product.prop свойство ro.odm.build.media_performance_class со значением выбранного класса производительности: 

ro.odm.build.media_performance_class=31   // use 30 for PC11

Для пользовательских устройств под управлением Android 11 выполните следующие дополнительные действия:

  1. Выберите патч [1627181] "Добавить свойство класса производительности мультимедиа в sepolicy" .

  2. Установите параметр MANAGE_EXTERNAL_STORAGE для com.android.cts.verifier : 

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Выполните тесты CTS и ITS.

Соберите CTS и CTS Verifier с установленными загруженными патчами, затем запустите соответствующую версию Android для ваших тестовых устройств (Android 11 CTS для устройств Android 11, Android 12 CTS для устройств Android 12).

СМИ

Для запуска тестов CTS для работы с медиафайлами: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Камера

Для запуска тестов CTS камеры: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Для устройств под управлением Android 12: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Аппаратное обеспечение

Для запуска аппаратных тестов CTS: 

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest