Przeprowadzanie testów klasy wydajności multimediów

Pakiet Compatibility Test Suite (CTS) obejmuje testy wydajności multimediów dla urządzeń z Androidem 11 lub nowszym. Proces testowania różni się w zależności od tego, czy urządzenie ma Androida 13, czy 11 lub 12. Dlatego postępuj zgodnie z instrukcjami dotyczącymi wersji Androida na Twoim urządzeniu.

Pobieranie testów

Pobierz te testy:

Testowanie urządzeń z Androidem 14 lub nowszym

Przeprowadzanie testów jakości kodowania wideo (VEQ) w ramach Performance Class 14 (PC14)

Android 14 wprowadza wymagania dotyczące jakości kodowania wideo (VEQ) dla urządzeń z klasy wydajności 14 (PC14). Wymagania PC14-VEQ definiują w sposób możliwy do zmierzenia docelowe wymagania dotyczące jakości dla kodeków wideo sprzętowych na urządzeniu PC14.

Celem jest zapewnienie, aby każde urządzenie z Androidem przypisane do grupy wydajnościowej Performance Class 14 zapewniało użytkownikom najwyższą jakość multimediów dzięki tworzeniu wysokiej jakości treści wideo.

Wymagania PC14-VEQ są weryfikowane za pomocą nowego testu CTS o nazwie CtsVideoEncodingQualityHostTest.

Ten test CTS wykonuje zestaw przypadków testowych kodowania zdefiniowanych przez pliki konfiguracyjne JSON. W przypadku każdego testu krzywa szybkości i zniekształceń (RD) testowanego kodera jest generowana przez kodowanie strumienia bitów za pomocą ustawień kodera z pliku JSON. Odniesienie do referencyjnej krzywej szybkości-zniekształcenia jest zawarte w tym samym pliku JSON. Do obliczania zniekształcenia (czyli utraty jakości) służy ocena jakości wideo za pomocą wielu metod (VMAF)vmaf_v0.6.1.json.

Przypadek testowy może być uznany za pozytywny tylko wtedy, gdy wynik BDRATE-VMAF jest mniejszy od zera lub równy zeru.

Test PC14-VEQ CTS obejmuje konfiguracje kodowania, w tym:

  • Kodery AVC i HEVC HW
  • Tryb kontroli szybkości VBR
  • Kodowanie klatek P i B
  • 1920 x 1080 p przy 30 fps (w orientacji poziomej) lub 1080 x 1920 p przy 30 fps (w orientacji pionowej).

Testowanie urządzeń z Androidem 13 lub nowszym

Przed rozpoczęciem testu przygotuj urządzenia do testowania:

  1. Skonfiguruj urządzenie tak, aby wyświetlać reklamy z klasą skuteczności mediów 13 (PC13), ustawiając wartość właściwości systemowej _ro.odm.build.media_performance_class na 33.

  2. Upewnij się, że obraz systemu na urządzeniu to Android 13 lub nowszy. Testy CTS dotyczące multimediów możesz przeprowadzać na obrazie systemu z Androidem 11 lub nowszym, ale testy CTS dotyczące aparatu wymagają funkcji Androida 13 na PC13.

Uruchamianie testów ITS kamery

Aby uruchomić tylko testy ITS aparatu, najpierw ustaw numery seryjne urządzenia i tabletu w config.yml, a potem uruchom te polecenia:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Przeprowadzanie testów klasy skuteczności mediów

Plan testów cts-media-performance-class sprawdza zgodność z wymaganiami CDD dotyczącymi klasy wydajności multimediów (CDD sekcja 2.2.7.1) i wymagań dotyczących kamery (CDD sekcja 2.2.7.2). Uruchom plan testów cts-media-performance-class za pomocą tego polecenia:

cts-tradefed run cts-media-performance-class

Aby uruchomić tylko testy CTS aparatu, użyj tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Aby uruchomić tylko testy CTS multimediów, użyj tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Przeprowadzanie testów MediaDrm CTS

Testy CTS MediaDrm weryfikują wymagania dotyczące MediaDrm w CDD sekcja 2.2.7.1. Uruchom testy MediaDrm CTS za pomocą tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Uruchamianie testów CTS systemu plików

Testy CTS systemu plików weryfikują wymagania dotyczące wydajności podane w dokumentacji CDD w sekcji 2.2.7.4.

  • Aby przetestować wymagania dotyczące sekwencyjnego odczytu i zapisu, użyj tego polecenia:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Aby przetestować wymagania dotyczące losowego odczytu i zapisu, użyj tego polecenia:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Testowanie urządzeń z Androidem 11 lub 12

Aby przetestować urządzenia z Androidem 11 lub 12, najpierw skonfiguruj urządzenia testowe (konfiguracja różni się w zależności od wersji Androida i urządzeń userdebug i użytkownika), a następnie uruchom testy CTS i CTS verifier.

Promowanie zajęć z treningu z osiągnięcia skuteczności w mediach

Aby skonfigurować urządzenia testowe tak, aby wyświetlały reklamy z właściwą klasą wydajności za pomocą właściwości systemu ro.odm.build.media_performance_class:

  • W przypadku klasy wydajności 12 (PC12) ustaw wartość właściwości na 31.

  • W przypadku klasy wydajności 11 (PC11) ustaw wartość tej właściwości na 30.

Urządzenia Userdebug

Aby skonfigurować urządzenia z Androidem w wersji userdebug, uruchom te polecenia:

  • Urządzenia z Androidem 12 w trybie userdebug:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Urządzenia z Androidem 11 w trybie userdebug:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Właściwości systemu ro.odm.build.media_performance_class można ustawić tylko raz na każde ponowne uruchomienie (ale przed pierwszym uruchomieniem nie trzeba ponownie uruchamiać urządzenia).

Urządzenia użytkowników

Aby skonfigurować urządzenia z Androidem w trybie userdebug, dodaj do pliku product.prop właściwość ro.odm.build.media_performance_class z wybraną wartością klasy wydajności. Poniżej znajdziesz przykład:

ro.odm.build.media_performance_class=31   // use 30 for PC11

W przypadku urządzeń użytkowników z Androidem 11 wykonaj te dodatkowe czynności:

  1. Wybierz z aktualizacji [1627181] Dodaj do sepolicy właściwość klasy skuteczności multimediów.

  2. Uruchom to polecenie:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Przeprowadzanie testów CTS i ITS

Utwórz CTS i CTS Verifier z zaimplementowanymi pobranymi poprawkami, a następnie uruchom odpowiednią wersję Androida na urządzeniach testowych (Android 11 CTS na urządzeniach z Androidem 11, Android 12 CTS na urządzeniach z Androidem 12).

Multimedia

Uruchom testy CTS multimediów za pomocą tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Aparat

Uruchom testy CTS aparatu za pomocą tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

W przypadku urządzeń z Androidem 12 uruchom to polecenie:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Sprzęt

Uruchom testy CTS sprzętu za pomocą tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest