Przeprowadzanie testów klasy wydajności multimediów

Pakiet Compatibility Test Suite (CTS) obejmuje testy wydajności multimediów dla urządzeń z Androidem 11 lub nowszym. Proces testowania różni się w zależności od tego, czy urządzenie ma Androida 13, czy 11 lub 12. Dlatego postępuj zgodnie z instrukcjami dotyczącymi wersji Androida zainstalowanej na Twoim urządzeniu.

Pobieranie testów

Pobierz te testy:

Testowanie urządzeń z Androidem 14 lub nowszym

Przeprowadź testy jakości kodowania wideo (VEQ) w klasie wydajności 14 (PC14)

Android 14 wprowadza wymagania dotyczące jakości kodowania wideo (VEQ) dla urządzeń z klasy wydajności 14 (PC14). Wymagania PC14-VEQ określają w sposób mierzalny, bazowy cel jakości dla koderów wideo używanych na urządzeniach PC14.

Celem jest zapewnienie, aby każde urządzenie z Androidem przypisane do grupy wydajności Performance Class 14 zapewniało użytkownikom najwyższą jakość multimediów dzięki tworzeniu wysokiej jakości treści wideo.

Wymagania PC14-VEQ są weryfikowane za pomocą nowego testu CTS o nazwie CtsVideoEncodingQualityHostTest.

Ten test CTS uruchamia zbiór przypadków testowania kodowania zdefiniowanych przez pliki JSON konfiguracji. W przypadku każdego testu krzywa szybkości i zniekształceń (RD) testowanego kodera jest generowana przez kodowanie strumienia bitów za pomocą ustawień kodera z pliku JSON. Krzywa referencji i zniekształceń stopy znajduje się w tym samym pliku JSON. Do obliczania zniekształcenia (czyli utraty jakości) służy złączenie wyników wielu metod oceny filmu (VMAF)vmaf_v0.6.1.json.

Przypadek testowy może być uznany za pozytywny tylko wtedy, gdy wynik BDRATE-VMAF jest mniejszy lub równy zeru.

Test CTS PC14-VEQ obejmuje konfiguracje kodowania, w tym:

  • Kodery AVC i HEVC HW
  • Tryb kontroli szybkości VBR
  • Kodowanie klatek P i B
  • 1920 x 1080 pikseli przy 30 fps (w orientacji poziomej) lub 1080 x 1920 pikseli przy 30 fps (w orientacji pionowej)

Testowanie urządzeń z Androidem w wersji 13 lub nowszej

Zanim rozpoczniesz test, przygotuj urządzenia do testów:

  1. Skonfiguruj urządzenie tak, aby wyświetlać reklamy z klasą skuteczności mediów 13 (PC13), ustawiając wartość właściwości systemowej _ro.odm.build.media_performance_class na 33.

  2. Upewnij się, że obraz systemu urządzenia to Android 13 lub nowszy. Testy CTS dotyczące multimediów możesz przeprowadzać na obrazie systemu z Androidem 11 lub nowszym, ale testy CTS dotyczące aparatu wymagają funkcji Androida 13 na PC13.

Przeprowadź testy kamery ITS

Aby uruchomić tylko testy systemu ITS kamery, najpierw ustaw numery seryjne urządzenia i tabletu w config.yml, a potem uruchom te polecenia:

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Przeprowadzanie testów klasy wydajności mediów

Plan testów cts-media-performance-class sprawdza zgodność z wymaganiami CDD dotyczącymi klasy wydajności multimediów (CDD sekcja 2.2.7.1) i wymagań dotyczących kamery (CDD sekcja 2.2.7.2). Uruchom plan testów cts-media-performance-class za pomocą tego polecenia:

cts-tradefed run cts-media-performance-class

Aby uruchomić tylko testy CTS kamery, użyj tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Aby uruchomić tylko testy CTS multimediów, użyj tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Przeprowadzanie testów MediaDrm CTS

Testy CTS MediaDrm weryfikują wymagania dotyczące MediaDrm w CDD sekcja 2.2.7.1. Uruchom testy MediaDrm CTS za pomocą tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Uruchamianie testów CTS systemu plików

Testy CTS systemu plików weryfikują wymagania dotyczące wydajności podane w dokumentacji CDD w sekcji 2.2.7.4.

  • Aby przetestować wymagania dotyczące sekwencyjnego odczytu i zapisu, użyj tego polecenia:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Aby przetestować losowy odczyt i zapis, użyj tego polecenia:

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Testowanie urządzeń z Androidem 11 lub 12

Aby przetestować urządzenia z Androidem 11 lub 12, najpierw skonfiguruj urządzenia testowe (konfiguracja różni się w zależności od wersji Androida i urządzeń userdebug i użytkownika), a następnie uruchom testy CTS i CTS verifier.

Promowanie zajęć z treningu skuteczności w mediach

Aby skonfigurować urządzenia testowe tak, aby wyświetlały reklamy z właściwą klasą wydajności za pomocą właściwości systemowej ro.odm.build.media_performance_class:

  • W przypadku klasy wydajności 12 (PC12) ustaw wartość właściwości na 31.

  • W przypadku klasy wydajności 11 (PC11) ustaw wartość tej właściwości na 30.

Urządzenia Userdebug

Aby skonfigurować urządzenia z Androidem w wersji userdebug, uruchom te polecenia:

  • Urządzenia z Androidem 12 debugujące użytkownika:

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Urządzenia z Androidem 11 w trybie userdebug:

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Właściwości systemu ro.odm.build.media_performance_class można ustawić tylko raz na każde ponowne uruchomienie (ale przed pierwszym uruchomieniem nie trzeba ponownie uruchamiać urządzenia).

Urządzenia użytkowników

Aby skonfigurować urządzenia do debugowania użytkowników Androida, dodaj do pliku product.prop właściwość ro.odm.build.media_performance_class z pożądaną wartością klasy wydajności. Poniżej znajdziesz przykład:

ro.odm.build.media_performance_class=31   // use 30 for PC11

W przypadku urządzeń użytkowników z Androidem 11 wykonaj te dodatkowe czynności:

  1. Wybierz z aktualizacji [1627181] Dodaj do sepolicy właściwość klasy skuteczności multimediów.

  2. Uruchom to polecenie:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Przeprowadzanie testów CTS i ITS

Utwórz CTS i CTS Verifier z zaimplementowanymi pobranymi poprawkami, a następnie uruchom odpowiednią wersję Androida na urządzeniach testowych (Android 11 CTS na urządzeniach z Androidem 11, Android 12 CTS na urządzeniach z Androidem 12).

Multimedia

Uruchom testy Media CTS za pomocą tego polecenia:

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Aparat

Przeprowadź testy CTS kamery, używając tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics
python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

W przypadku urządzeń z Androidem 12 uruchom to polecenie:

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Sprzęt

Uruchom testy CTS sprzętu za pomocą tych poleceń:

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest