Executar testes de classe de performance da mídia

O conjunto de testes de compatibilidade do Android (CTS) inclui testes de classe de desempenho de mídia para dispositivos com o Android 11 ou mais recente. Como o processo de teste é diferente entre dispositivos com o Android 13 e dispositivos com Android 11 ou 12, siga as instruções de acordo com a versão Android em execução nos seus dispositivos.

Fazer o download de testes

Faça o download dos seguintes testes:

Testar dispositivos com o Android 14 ou versões mais recentes

Executar testes de qualidade de codificação de vídeo (VEQ, na sigla em inglês) da classe de desempenho 14 (PC14)

O Android 14 lançou requisitos de qualidade de codificação de vídeo (VEQ) para dispositivos da classe de desempenho 14 (PC14). Os requisitos do PC14-VEQ definem um requisito de meta de qualidade de referência de modo mensurável para codificadores de vídeo HW em um dispositivo PC14.

A meta é garantir que cada dispositivo Android agrupado no painel A turma 14 oferece uma experiência de mídia premium para os usuários finais criando conteúdo de alta qualidade conteúdo em vídeo.

Os requisitos do PC14-VEQ são verificados por um novo teste de CTS chamado CtsVideoEncodingQualityHostTest

Esse teste do CTS executa um conjunto de casos de teste de codificação definidos pelos arquivos JSON de configuração. Para cada caso de teste, a curva de distorção de taxa (RD) do codificador que está sendo testado é gerado pela codificação de um bitstream usando as configurações do codificador do arquivo JSON. A curva de distorção da taxa de referência é incluída no mesmo arquivo JSON. A Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json é usada para calcular a distorção (ou seja, a perda de qualidade).

Um caso de teste só é aprovado quando o resultado de BDRATE-VMAF é menor ou igual a a zero.

O teste CTS PC14-VEQ abrange configurações de codificação, incluindo:

  • Codificadores AVC e HEVC HW
  • Modo de controle de taxa de VBR
  • Codificação de P-frame/B-frame
  • 1920 x 1080p30 fps (paisagem) ou 1080 x 1920p30 fps (retrato)

Testar dispositivos com o Android 13 ou versões mais recentes

Antes de iniciar uma execução de teste, prepare os dispositivos para testes:

  1. Configure o dispositivo para anunciar a classe de desempenho de mídia 13 (PC13) definindo o valor da propriedade do sistema _ro.odm.build.media_performance_class como 33.

  2. Verificar se a imagem do sistema do dispositivo é o Android 13 ou mais alto. Embora seja possível executar testes de Media CTS em um dispositivo com Android 11 ou versão mais recente imagem do sistema, testes de CTS da câmera exigem o Android 13 para PC13.

Executar testes ITS da câmera

Para executar apenas os testes ITS da câmera, primeiro defina o número de série do dispositivo e do tablet números em config.yml, execute os seguintes comandos:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Executar testes de classe de performance da mídia

O plano de teste cts-media-performance-class verifica os requisitos do CDD para requisitos da classe de desempenho de mídia (CDD Seção 2.2.7.1) e requisitos de câmera (CDD Seção 2.2.7.2). Execute o plano de teste cts-media-performance-class usando o seguinte comando:

cts-tradefed run cts-media-performance-class

Para executar apenas os testes CTS da câmera, use o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Para executar apenas os testes CTS de mídia, use o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Executar testes de CTS do MediaDrm

Os testes do CTS do MediaDrm verificam os requisitos do MediaDrm na Seção 2.2.7.1 do CDD. Execute os testes do CTS do MediaDrm usando estes comandos:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Executar testes de CTS do sistema de arquivos

Os testes de CTS do sistema de arquivos verificam os requisitos de desempenho na seção do CDD 2.2.7.4.

  • Para testar os requisitos de leitura e gravação sequenciais, use o seguinte comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Para testar requisitos aleatórios de leitura e gravação, use o seguinte comando:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Testar dispositivos Android 11 ou 12

Para testar dispositivos com o Android 11 ou 12, primeiro configure os dispositivos de teste (a configuração difere entre a versão do Android e o userdebug em comparação com os dispositivos do usuário) e execute os testes do CTS e do verificador do CTS.

Anunciar a classe de performance de mídia

Siga as etapas abaixo para configurar os dispositivos de teste e anunciar o dispositivo classe de desempenho usando o sistema ro.odm.build.media_performance_class :

  • Para a classe de desempenho 12 (PC12), defina o valor da propriedade como 31.

  • Para a classe de performance 11 (PC11), defina o valor da propriedade como 30.

Dispositivos Userdebug

Para configurar dispositivos Android userdebug, execute os seguintes comandos:

  • Dispositivos userdebug do Android 12:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Dispositivos userdebug do Android 11:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Só é possível definir a propriedade do sistema ro.odm.build.media_performance_class uma vez por reinicialização, mas você não precisa reiniciar o dispositivo antes de defini-lo pela primeira vez tempo de resposta).

Dispositivos do usuário

Para configurar dispositivos Android userdebug, adicione o ro.odm.build.media_performance_class com o desempenho desejado. ao arquivo product.prop. Veja um exemplo abaixo:

ro.odm.build.media_performance_class=31   // use 30 for PC11

Para dispositivos de usuários com o Android 11, siga estas etapas adicionais:

  1. Escolha o patch [1627181] Adicionar a propriedade da classe de performance de mídia ao sepolicy.

  2. Execute este comando:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Executar testes CTS e ITS

Crie o CTS e o CTS Verifier com os patches baixados aplicados e execute a versão apropriada do Android para seus dispositivos de teste (CTS do Android 11 para dispositivos do Android 11, CTS do Android 12 para dispositivos do Android 12).

Mídia

Execute os testes CTS de mídia usando este comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Câmera

Execute os testes CTS da câmera usando estes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Para dispositivos com o Android 12, execute o seguinte comando:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Hardware

Execute testes CTS de hardware usando estes comandos:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest