Exécuter des tests de classe de performances multimédias

La suite de tests de compatibilité (CTS) Android inclut des tests de classe de performances multimédias pour les appareils équipés d'Android 11 ou version ultérieure. Étant donné que le processus de test diffère entre les appareils équipés d'Android 13 et ceux équipés d'Android 11 ou 12, veillez à suivre les instructions correspondant à la version d'Android exécutée sur vos appareils.

Télécharger les tests

Téléchargez les tests suivants :

Tester les appareils équipés d'Android 14 ou version ultérieure

Tester les appareils équipés d'Android 14 ou version ultérieure

Cette section décrit les tests requis pour les appareils équipés d'Android 14 ou version ultérieure. 14 ou version ultérieure.

Exécuter des tests de qualité d'encodage vidéo (VEQ) de classe de performances 14 (PC14)

Android 14 introduit des exigences de qualité d'encodage vidéo (VEQ) pour les appareils de classe de performances 14 (PC14). Les exigences PC14-VEQ définissent essentiellement une exigence de qualité de référence de manière mesurable pour les encodeurs vidéo matériels sur un appareil PC14.

L'objectif est de vérifier que chaque appareil exécutant Android regroupé dans la classe de performances 14 offre une expérience multimédia premium aux utilisateurs finaux en créant des contenus vidéo de haute qualité.

Les exigences PC14-VEQ sont vérifiées par un nouveau test CTS appelé CtsVideoEncodingQualityHostTest.

Ce test CTS exécute un ensemble de scénarios de test d'encodage définis par les fichiers JSON de configuration et utilise l'API Jetpack Media3 Transformer. Pour chaque scénario de test, la courbe de distorsion du débit (RD) de l'encodeur testé est générée en encodant un flux binaire à l'aide des paramètres d'encodeur du fichier JSON. La courbe de distorsion du débit de référence est incluse dans le même fichier JSON. L'évaluation multiméthode de fusion vidéo (VMAF) vmaf_v0.6.1.json est utilisée pour calculer la distorsion (c'est-à-dire la perte de qualité).

Un scénario de test ne peut réussir que si son résultat BDRATE-VMAF est inférieur ou égal à zéro.

Le test CTS PC14-VEQ couvre les configurations d'encodage, y compris les suivantes :

  • Encodeurs matériels AVC et HEVC
  • Mode de contrôle du taux VBR
  • Encodage P-Frame/B-Frame
  • 1920 x 1080p30 fps (paysage) ou 1080 x 1920p30 fps (portrait)

Tester les appareils équipés d'Android 13 ou version ultérieure

Tester les appareils équipés d'Android 13 ou version ultérieure

Avant de commencer un test, préparez les appareils pour le test :

  1. Configurez l'appareil pour qu'il annonce la classe de performances multimédias 13 (PC13) en définissant la valeur de la propriété système _ro.odm.build.media_performance_class sur 33.

  2. Vérifiez que l'image système de l'appareil est Android 13 ou

  3. Vérifiez que l'image système de l'appareil est Android 13 ou version ultérieure. Bien que vous puissiez exécuter des tests CTS multimédias sur une image système Android 11 ou version ultérieure, les tests CTS de l'appareil photo nécessitent une image système Android 13, les tests CTS de l'appareil photo nécessitent des fonctionnalités Android 13 pour PC13.

Exécuter des tests ITS de l'appareil photo

Pour exécuter uniquement les tests ITS de l'appareil photo, définissez d'abord les numéros de série de l'appareil et de la tablette dans config.yml. Une fois la configuration terminée, exécutez les tests pour les caméras avant et arrière :

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Exécuter des tests de classe de performances multimédias

Le plan de test cts-media-performance-class vérifie les exigences du CDD pour les exigences de classe de performances multimédias (CDD section 2.2.7.1) et les exigences de l'appareil photo (CDD section 2.2.7.2). Exécutez le test cts-media-performance-class :

cts-tradefed run cts-media-performance-class

Pour exécuter uniquement les tests CTS de l'appareil photo :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Pour exécuter uniquement les tests CTS multimédias :

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Exécuter des tests CTS MediaDrm

Les tests CTS MediaDrm vérifient les exigences MediaDrm dans la section 2.2.7.1 du CDD. Exécutez les tests CTS MediaDrm :

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Exécuter des tests CTS du système de fichiers

Les tests CTS du système de fichiers vérifient les exigences de performances dans la section 2.2.7.4 du CDD.

  • Pour tester les exigences de lecture et d'écriture séquentielles :

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Pour tester les exigences de lecture et d'écriture aléatoires :

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Tester les appareils équipés d'Android 11 ou 12

Pour tester les appareils équipés d'Android 11 ou 12, configurez d'abord les appareils de test (la configuration diffère selon la version d'Android et les appareils userdebug par rapport aux appareils utilisateur), puis exécutez les tests CTS et CTS Verifier.

Annoncer la classe de performances multimédias

Procédez comme suit pour configurer les appareils de test afin qu'ils annoncent la classe de performances appropriée à l'aide de la propriété système ro.odm.build.media_performance_class :

  • Pour la classe de performances 12 (PC12), définissez la valeur de la propriété sur 31.

  • Pour la classe de performances 11 (PC11), définissez la valeur de la propriété sur 30.

Appareils Userdebug

Pour configurer des appareils Android userdebug :

  • Appareils Android 12 userdebug :

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Appareils Android 11 userdebug :

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Vous ne pouvez définir la propriété système ro.odm.build.media_performance_class qu'une seule fois par redémarrage (mais vous n'avez pas besoin de redémarrer l'appareil avant de la définir pour la première fois).

Appareils utilisateur

Pour configurer des appareils Android utilisateur, ajoutez la propriété ro.odm.build.media_performance_class avec la valeur de classe de performances sélectionnée au fichier product.prop :

ro.odm.build.media_performance_class=31   // use 30 for PC11

Pour les appareils utilisateur équipés d'Android 11, procédez comme suit :

  1. Sélectionnez le correctif [1627181] Ajouter une propriété de classe de performances multimédias à sepolicy.

  2. Définissez MANAGE_EXTERNAL_STORAGE pour com.android.cts.verifier :

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Exécuter des tests CTS et ITS

Créez CTS et CTS Verifier avec les correctifs téléchargés appliqués, puis exécutez la version d'Android appropriée pour vos appareils de test (CTS Android 11 pour les appareils Android 11, CTS Android 12 pour les appareils Android 12).

Contenus multimédias

Pour exécuter des tests CTS multimédias :

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Appareil photo

Pour exécuter des tests CTS de l'appareil photo :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Pour les appareils équipés d'Android 12 :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Matériel

Pour exécuter des tests CTS matériels :

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest