Ejecutar pruebas de clase de rendimiento de medios

El conjunto de pruebas de compatibilidad de Android (CTS) incluye pruebas de clase de rendimiento multimedia para dispositivos con Android 11 o superior. Debido a que el proceso de prueba difiere entre dispositivos con Android 13 y dispositivos con Android 11 o Android 12, asegúrese de seguir las instrucciones para la versión de Android que se ejecuta en sus dispositivos.

Descargar pruebas

Descarga las siguientes pruebas:

Pruebe dispositivos Android 14 o superior

Ejecute pruebas de calidad de codificación de vídeo (VEQ) de clase de rendimiento 14 (PC14)

Android 14 introduce requisitos de calidad de codificación de video (VEQ) para dispositivos Performance Class 14 (PC14). Los requisitos de PC14-VEQ esencialmente definen un requisito objetivo de calidad de referencia de manera mensurable para los codificadores de video HW en un dispositivo PC14.

El objetivo es garantizar que cada dispositivo Android agrupado en Performance Class 14 brinde una experiencia multimedia premium a los usuarios finales mediante la creación de contenido de video de alta calidad.

Los requisitos de PC14-VEQ se verifican mediante una nueva prueba CTS llamada CtsVideoEncodingQualityHostTest .

Esta prueba CTS ejecuta un conjunto de casos de prueba de codificación definidos por los archivos JSON de configuración. Para cada caso de prueba, la curva de velocidad-distorsión (RD) del codificador que se está probando se genera codificando un flujo de bits utilizando la configuración del codificador del archivo JSON. La curva de distorsión de tasa de referencia se incluye en el mismo archivo JSON. Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json se utiliza para calcular la distorsión (es decir, la pérdida de calidad).

Un caso de prueba puede pasar solo cuando su resultado BDRATE-VMAF es menor o igual a cero.

La prueba PC14-VEQ CTS cubre configuraciones de codificación que incluyen las siguientes:

  • Codificadores HW AVC y HEVC
  • Modo de control de velocidad VBR
  • Codificación de fotograma P/fotograma B
  • 1920x1080p30fps (Paisaje) o 1080x1920p30fps (Retrato)

Pruebe dispositivos Android 13 o superior

Antes de iniciar una prueba, prepare los dispositivos para la prueba:

  1. Configure el dispositivo para anunciar la clase de rendimiento multimedia 13 (PC13) estableciendo el valor de propiedad del sistema _ro.odm.build.media_performance_class en 33 .

  2. Asegúrese de que la imagen del sistema del dispositivo sea Android 13 o superior. Aunque puede ejecutar pruebas de Media CTS en una imagen del sistema Android 11 o superior, las pruebas de cámara CTS requieren funciones de Android 13 para PC13.

Ejecute las pruebas ITS de la cámara

Para ejecutar las pruebas ITS de la cámara únicamente, primero configure los números de serie del dispositivo y de la tableta en config.yml y luego ejecute los siguientes comandos:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Ejecute pruebas de clase de rendimiento de medios

El plan de prueba cts-media-performance-class verifica los requisitos de CDD para los requisitos de clase de rendimiento de medios ( Sección CDD 2.2.7.1 ) y los requisitos de la cámara ( Sección CDD 2.2.7.2 ). Ejecute el plan de prueba cts-media-performance-class usando el siguiente comando:

cts-tradefed run cts-media-performance-class

Para ejecutar solo las pruebas CTS de la cámara, use el siguiente comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Para ejecutar solo las pruebas CTS de medios, utilice el siguiente comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Ejecute pruebas de MediaDrm CTS

Las pruebas de MediaDrm CTS verifican los requisitos de MediaDrm en la Sección 2.2.7.1 de CDD. Ejecute las pruebas de MediaDrm CTS usando los siguientes comandos:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Ejecutar pruebas CTS del sistema de archivos

Las pruebas CTS del sistema de archivos verifican los requisitos de rendimiento en la Sección 2.2.7.4 de CDD.

  • Para probar los requisitos de lectura y escritura secuenciales, utilice el siguiente comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Para probar los requisitos de lectura y escritura aleatoria, utilice el siguiente comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Pruebe dispositivos Android 11 o 12

Para probar dispositivos con Android 11 o 12, primero configure los dispositivos de prueba (la configuración difiere entre la versión de Android y la depuración del usuario en comparación con los dispositivos del usuario), luego ejecute las pruebas CTS y del verificador CTS.

Anunciar la clase de rendimiento de los medios.

Utilice los siguientes pasos para configurar dispositivos de prueba para anunciar la clase de rendimiento correcta utilizando la propiedad del sistema ro.odm.build.media_performance_class :

  • Para la clase de rendimiento 12 (PC12), establezca el valor de la propiedad en 31 .

  • Para la clase de rendimiento 11 (PC11), establezca el valor de la propiedad en 30 .

Dispositivos de depuración de usuario

Para configurar dispositivos de depuración de usuarios de Android, ejecute los siguientes comandos:

  • Dispositivos de depuración de usuario de Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Dispositivos de depuración de usuario de Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Puede configurar la propiedad del sistema ro.odm.build.media_performance_class solo una vez por reinicio (pero no es necesario reiniciar el dispositivo antes de configurarlo por primera vez).

Dispositivos de usuario

Para configurar dispositivos de depuración de usuarios de Android, agregue la propiedad ro.odm.build.media_performance_class con el valor de clase de rendimiento deseado al archivo product.prop . A continuación se muestra un ejemplo:

ro.odm.build.media_performance_class=31   // use 30 for PC11

Para dispositivos de usuario que ejecutan Android 11, realice los siguientes pasos adicionales:

  1. Seleccione Cherry [1627181] Agregar propiedad de clase de rendimiento de medios al parche de política .

  2. Ejecute el siguiente comando:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Ejecute pruebas CTS e ITS

Compile CTS y CTS Verifier con los parches descargados aplicados, luego ejecute la versión adecuada de Android para sus dispositivos de prueba (Android 11 CTS para dispositivos con Android 11, Android 12 CTS para dispositivos con Android 12).

Medios de comunicación

Ejecute pruebas CTS de medios usando el siguiente comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Cámara

Ejecute pruebas CTS de cámara usando los siguientes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Para dispositivos que ejecutan Android 12, ejecute el siguiente comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Hardware

Ejecute pruebas CTS de hardware usando los siguientes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest