Executar testes de classe de desempenho de mídia

O conjunto de teste de compatibilidade (CTS) do Android inclui uma classe de desempenho de mídia testes em dispositivos com o Android 11 ou versões mais recentes. Como o processo de teste é diferente entre dispositivos com o Android 13 e dispositivos com Android 11 ou 12, siga as instruções de acordo com a versão Android em execução nos seus dispositivos.

Fazer o download dos testes

Faça o download dos seguintes testes:

Testar dispositivos Android 14 ou mais recente

Executar testes de Performance Class 14 (PC14): qualidade de codificação de vídeo (VEQ, na sigla em inglês)

O Android 14 lançou requisitos de qualidade de codificação de vídeo (VEQ) para dispositivos da classe de desempenho 14 (PC14). Os requisitos do PC14-VEQ definem um requisito de meta de qualidade de referência de modo mensurável. para codificadores de vídeo HW em um dispositivo PC14.

A meta é garantir que cada dispositivo Android agrupado no painel A turma 14 oferece uma experiência de mídia premium para os usuários finais criando conteúdo de alta qualidade conteúdo em vídeo.

Os requisitos do PC14-VEQ são verificados por um novo teste de CTS chamado CtsVideoEncodingQualityHostTest

Esse teste CTS executa um conjunto de casos de teste de codificação definidos pelo arquivo arquivos JSON. Para cada caso de teste, a curva de distorção de taxa (RD) do codificador que está sendo testada é gerado pela codificação de um bitstream usando as configurações do codificador do arquivo JSON. A curva de distorção da taxa de referência é incluída no mesmo arquivo JSON. A Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json é usado para calcular a distorção (ou seja, a perda de qualidade).

Um caso de teste só é aprovado quando o resultado de BDRATE-VMAF é menor ou igual a a zero.

O teste CTS PC14-VEQ abrange configurações de codificação, incluindo:

  • Codificadores AVC e HEVC HW
  • Modo de controle de taxa de VBR
  • Codificação P-Frame/B-frame
  • 1920 x 1080p30 fps (paisagem) ou 1080 x 1920p30 fps (retrato)

Testar dispositivos Android 13 ou mais recente

Antes de iniciar uma execução de teste, prepare os dispositivos para testes:

  1. Configure o dispositivo para anunciar a classe de desempenho de mídia 13 (PC13) definindo o valor da propriedade do sistema _ro.odm.build.media_performance_class como 33.

  2. Verificar se a imagem do sistema do dispositivo é o Android 13 ou mais alto. Embora seja possível executar testes de Media CTS em um dispositivo com Android 11 ou versão mais recente imagem do sistema, testes de CTS da câmera exigem o Android 13 para PC13.

Executar testes ITS da câmera

Para executar apenas os testes ITS da câmera, primeiro defina o número de série do dispositivo e do tablet números em config.yml, execute os seguintes comandos:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Executar testes de classe de desempenho de mídia

O plano de teste cts-media-performance-class verifica os requisitos do CDD para: requisitos de classe de desempenho de mídia (seção CDD) 2.2.7.1) e requisitos de câmera (Seção 2.2.7.2 do CDD). Execute o cts-media-performance-class usando o seguinte comando:

cts-tradefed run cts-media-performance-class

Para executar apenas os testes de CTS da câmera, use o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Para executar apenas os testes de CTS de mídia, use o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Executar testes de CTS para MediaDrm

Os testes de CTS do MediaDrm verificam os requisitos do MediaDrm no CDD Seção 2.2.7.1. Executar testes de CTS para MediaDrm usando os seguintes comandos:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Executar testes CTS do sistema de arquivos

Os testes de CTS do sistema de arquivos verificam os requisitos de desempenho na seção do CDD 2.2.7.4.

  • Para testar os requisitos sequenciais de leitura e gravação, use o seguinte comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Para testar requisitos aleatórios de leitura e gravação, use o seguinte comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Testar dispositivos Android 11 ou 12

Para testar dispositivos com o Android 11 ou 12, primeiro configure os dispositivos de teste (configuração difere entre a versão do Android e o userdebug e os dispositivos do usuário), execute o CTS e testes do verificador CTS.

Anunciar a classe de desempenho de mídia

Siga as etapas abaixo para configurar os dispositivos de teste e anunciar o dispositivo classe de desempenho usando o sistema ro.odm.build.media_performance_class :

  • Para a classe de desempenho 12 (PC12), defina o valor da propriedade como 31.

  • Para a classe de desempenho 11 (PC11), defina o valor da propriedade como 30.

Dispositivos Userdebug

Para configurar dispositivos Android userdebug, execute os seguintes comandos:

  • Dispositivos userdebug do Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Dispositivos userdebug do Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Só é possível definir a propriedade do sistema ro.odm.build.media_performance_class uma vez por reinicialização, mas você não precisa reiniciar o dispositivo antes de defini-lo pela primeira vez tempo de resposta).

Dispositivos do usuário

Para configurar dispositivos Android userdebug, adicione o ro.odm.build.media_performance_class com o desempenho desejado. ao arquivo product.prop. Veja um exemplo abaixo:

ro.odm.build.media_performance_class=31   // use 30 for PC11

Para dispositivos de usuários com o Android 11, siga estas outras etapas:

  1. Selecione a propriedade [1627181] Adicionar classe de desempenho de mídia ao sepolicy (link em inglês) patch.

  2. Execute este comando:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Executar testes CTS e ITS

Crie o CTS e o CTS Verifier com os patches transferidos por download aplicados e execute a a versão apropriada do Android para seus dispositivos de teste (Android 11 CTS para Android Android 11, Android 12 CTS para dispositivos Android 12).

Mídia

Execute testes de CTS de mídia usando o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Câmera

Execute testes CTS da câmera usando os seguintes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Para dispositivos com o Android 12, execute este comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Hardware

Execute testes de CTS de hardware usando os seguintes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest