Korzystanie z weryfikatora CTS

Weryfikator Compatibility Test Suite (CTS) uzupełnia pakiet Compatibility Test Suite (CTS). CTS sprawdza interfejsy API i funkcje, które można zautomatyzować, natomiast CTS Verifier zapewnia testy interfejsów API i funkcji, których nie można przetestować na urządzeniach stacjonarnych bez ręcznego wprowadzania lub pozycjonowania. Są to na przykład jakość dźwięku, ekran dotykowy, akcelerometr i kamera.

Wymagania

Przed uruchomieniem weryfikatora CTS upewnij się, że masz następujący sprzęt:

  • urządzenie z Androidem, które potwierdziło zgodność interfejsu Android API przez przejście CTS. To jest urządzenie w trakcie testowania (DUT).
  • Komputer z systemem Linux i portem zgodnym z USB 2.0. Wszystkie połączenia z DUT przechodzą przez ten port.
  • Drugie urządzenie z Androidem z obsługiwaną technologią Bluetooth, Wi-Fi Direct, Wi-Fi Aware, UWB (jeśli DUT obsługuje UWB) i emulacji karty hosta NFC (HCE).
  • Router Wi-Fi skonfigurowany z nazwą i hasłem punktu dostępu. Router powinien mieć możliwość odłączenia się od internetu, ale nie może być wyłączony.

Przygotuj też statywy, uchwyty na urządzenia i wstępnie zmierzone odległości wymagane do przeprowadzenia testów pomiaru odległości (odległości w pobliżu) w przypadku UWB, Wi-Fi NAN i Bluetooth RSSI. Więcej informacji znajdziesz w artykule Kalibracja obecności.

Wymagania UICC w przypadku testów NFC

Weryfikator CTS obsługuje te testy NFC:

  • Field-off (używa danych transakcji z rozmiaru 0 x 54)
  • Odznacz (używa danych transakcji z 0x52)
  • Polecenie HCI (0025000000) (używa danych transakcji z 0x02)

Testy zdarzeń transakcji wymagają 2 urządzeń, z których jedno musi mieć kartę UICC Secure Element z tymi regułami dostępu:

  • Hash pliku APK CtsVerifier: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
  • Autoryzowany identyfikator aplikacji (AID) umożliwiający dostęp do zdarzeń NFC: 0xA000000476416E64726F696443545341

Od strony emulatora oczekujemy, że zdarzenie transakcji przeniesie odpowiednie działanie na pierwszy plan.

Konfiguracja

Zmień tryb nawigacji systemowej urządzenia testowego na tryb 3 przycisków:

  1. Wybierz Ustawienia.
  2. Wybierz System > Gest > Nawigacja w systemie.
  3. Wybierz dowolny tryb nawigacji przy użyciu przycisków, najlepiej tryb trzech przycisków, jeśli jest dostępny.

Aby skonfigurować środowisko testowe weryfikatora CTS:

  1. Na komputerze z Linuksem:

    • Przed zainstalowaniem narzędzia CTS Verifier uruchom to polecenie, aby umożliwić dostęp do interfejsów innych niż SDK.

      adb shell settings put global hidden_api_policy 1
      
    • Zainstaluj Android Studio.

    • Pobierz plik APK weryfikatora CTS dla wersji Androida, którą chcesz przetestować.

  2. Podłącz urządzenie do testów do komputera z Linuxem.

  3. Za pomocą terminala na komputerze z Linuxem zainstaluj CtsVerifier.apk na urządzeniu testowym.

    adb install -r -g CtsVerifier.apk
    
  4. W Androidzie 10 i nowszych uruchom poniższe polecenie, aby przyznać aplikacji uprawnienia do tworzenia raportów.

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow
    
  5. W Androidzie 11 i nowszych uruchom to polecenie, aby zezwolić na zapisywanie raportów w określonym przez siebie katalogu w zewnętrznym katalogu najwyższego poziomu urządzenia.

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0
    
  6. W przypadku Androida 13 lub nowszego uruchom to polecenie, aby zezwolić na dostęp do testowego interfejsu API dla weryfikatora CTS.

    adb shell am compat enable ALLOW_TEST_API_ACCESS com.android.cts.verifier
    
  7. W przypadku Androida 14 i nowszych uruchom to polecenie, aby przyznać aplikacji uprawnienia do włączania ekranu.

    adb shell appops set com.android.cts.verifier TURN_SCREEN_ON 0
    
  8. Upewnij się, że data i godzina w badanym urządzeniu są prawidłowo ustawione.

Uruchamianie narzędzia CTS Verifier

Uruchom aplikację CTS Verifier, klikając jej ikonę na urządzeniu testowym.

Ikona weryfikatora CTS w programie uruchamiającym

Rysunek 1. Ikona weryfikatora CTS

Aplikacja wyświetla kilka zestawów testów do ręcznej weryfikacji.

Menu testów w weryfikatorze CTS

Rysunek 2. Menu testów w CTS Verifier

Każdy test zawiera na dole ekranu zestaw wspólnych elementów.

Weryfikator jakości strumieniowych transmisji wideo

Rysunek 3. Ekran testowy z wyróżnionymi typowymi elementami testowymi

  • Pass (✓) – kliknij, jeśli DUT spełnia wymagania testu zgodnie z instrukcjami dotyczącymi informacji.
  • Informacje (?). Kliknij, aby wyświetlić instrukcje dotyczące testu. Pojawia się też automatycznie przy pierwszym otwarciu testu.
  • Niepowodzenie (!). Kliknij, jeśli urządzenie testowe nie spełnia wymagań testu zgodnie z instrukcjami.

Niektóre testy, takie jak test trybu akcesoriów USB i test kalibracji aparatu, wymagają dodatkowej konfiguracji i instrukcji, które znajdziesz w następnych sekcjach.

Testowanie trybu akcesorium USB w Androidzie 8.0 i nowszych

Test akcesoriów USB w CTS Verifier

Rysunek 4. Procedura testowania akcesoriów USB w wersji 8.0 i wyższych

Test akcesoriów USB w CTS Verifier

Rysunek 5. Testowanie trybu akcesorium USB w Androidzie 8.0 i nowszych

Testowanie trybu akcesoriów USB w Androidzie 7.x i starszych

Test akcesoriów USB wymaga komputera z systemem Linux, na którym można uruchomić program komputera hosta USB.

  1. Podłącz urządzenie do testów do komputera z Linuxem.
  2. Na komputerze uruchom program cts-usb-accessory z pakietu Verifier:

    ./cts-usb-accessory
  3. Poczekaj, aż na urządzeniu DUT pojawi się wyskakujące okienko, a następnie kliknij OK.
    Test akcesoriów USB w CTS Verifier

    Rysunek 6. Test akcesorium USB

  4. Przejdź do testu akcesoriów USB w aplikacji CTS Verifier na urządzeniu DUT.

  5. Na komputerze sprawdź dane wyjściowe konsoli. Przykładowe dane wyjściowe:

    CTS USB Accessory Tester
    Found possible Android device (413c:2106) - attempting to switch to accessory
    mode...
    Failed to read protocol versionfigure3
    Found Android device in accessory mode (18d1:2d01)...
    [RECV] Message from Android device #0
    [SENT] Message from Android accessory #0
    [RECV] Message from Android device #1
    [SENT] Message from Android accessory #1
    [RECV] Message from Android device #2
    [SENT] Message from Android accessory #2
    [RECV] Message from Android device #3
    [SENT] Message from Android accessory #3
    [RECV] Message from Android device #4
    [SENT] Message from Android accessory #4
    [RECV] Message from Android device #5
    [SENT] Message from Android accessory #5
    [RECV] Message from Android device #6
    [SENT] Message from Android accessory #6
    [RECV] Message from Android device #7
    [SENT] Message from Android accessory #7
    [RECV] Message from Android device #8
    [SENT] Message from Android accessory #8
    [RECV] Message from Android device #9
    [SENT] Message from Android accessory #9
    [RECV] Message from Android device #10
    [SENT] Message from Android accessory #10
    

Skalibruj pole widzenia kamery

Za pomocą procedury kalibracji pola widzenia możesz szybko określić pole widzenia urządzenia z dostateczną dokładnością.

  1. Skonfiguruj środowisko testowe:

    1. Wydrukuj plik docelowy calibration-pattern.pdf na papierze w formacie A3 lub A4.
    2. Przymocuj wydrukowany wzór do sztywnej podkładki.
    3. Umieść kamerę i wydrukowany cel tak, jak pokazano na tym diagramie.
      Cel wydruku w aparacie

      Rysunek 7. Cel wydruku w aparacie

  2. Ustaw docelową szerokość:

    1. Zmierz odległość (w centymetrach) między ciągłymi liniami na wzorze docelowym, aby uwzględnić niedokładności druku (~38 cm).
    2. Uruchom aplikację do kalibracji.
    3. Naciśnij przycisk konfiguracji i wybierz Odległość znacznika.
    4. Zmierz i wpisz odległość do wzoru docelowego (około 100 cm).
    5. Naciśnij przycisk Wstecz, aby wrócić do podglądu kalibracji.
  3. Sprawdź, czy urządzenie i cel są rozmieszczone tak, jak widać na ilustracji, oraz czy w oknie konfiguracji są podane poprawne odległości. Na podglądzie widoczny jest obraz z nałożoną pionową linią. Ta linia powinna wyrównać się z linią środkową wzorca docelowego. Przezroczysta siatka może być używana z innymi liniami pionowymi, aby zapewnić, że oś optyczna jest prostopadła do celu.

  4. Uruchom test kalibracji:

    1. Wybierz rozdzielczość obrazu (za pomocą selektora w lewym dolnym rogu), a potem kliknij ekran, aby zrobić zdjęcie. Test przechodzi w tryb kalibracji i wyświetla zdjęcie z 2 przesłanymi na nie pionowymi liniami.
    2. Określanie dokładności:
      • Jeśli linie pokrywają się z pionowymi liniami w wzorze docelowym w zakresie kilku centymetrów, zgłoszone pole widzenia dla wybranej rozdzielczości jest prawidłowe.
      • Jeśli linie nie są wyrównane, zgłoszone pole widzenia jest nieprawidłowe. Aby to poprawić, przesuń suwak u dołu ekranu, aż nakładka będzie jak najbardziej dopasowana do wzorca docelowego. Gdy nakładka i obraz wzorcowego wzorca są wyrównane, wyświetlane pole widzenia jest zbliżone do prawidłowej wartości. Raportowany kąt widzenia powinien mieścić się w zakresie +/-2 stopnie wartości kalibracji.
    3. Naciśnij przycisk Wstecz i powtórz test kalibracji dla wszystkich rozdzielczości obrazu obsługiwanych przez DUT.

Uruchamianie narzędzia CTS Verifier w trybie alternatywnym

Począwszy od wersji CTS 10 R6 i CTS 11 R2 narzędzie CTS Verifier obsługuje testy wymagane w przypadku urządzeń z trybami alternatywnymi lub z większą liczbą trybów ekranu.

U góry głównego widoku listy w CTS Verifier znajduje się przycisk, który umożliwia użytkownikom przełączanie się między trybem wyświetlania w rozłożonym i złożonym stanie. Weryfikator CTS wyświetli niezbędne testy dla wybranego trybu wyświetlania. Aby uruchomić alternatywne tryby w CTS Verifier, należy przełączyć przycisk na odpowiedni tryb wyświetlania i uruchomić listę testów.

CTS-V przełącznik

Wyniki testów złożonych zostaną zarejestrowane w tym samym raporcie co testy nieskładane. Aby można było zidentyfikować każdy wynik testu, z którego pochodzi zbiór testowy, do każdej nazwy testu w trybie złożonym dodawany jest sufiks.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Eksportuj wyniki

Po zakończeniu wszystkich testów możesz zapisać ich wyniki jako raport i pobrać je na komputer. Nazwy raportów są automatycznie opatrywane znacznikiem czasu na podstawie czasu systemowego DUT.

  1. Aby zapisać wyniki testu, kliknij ikonę zapisu (dysku) u góry listy kategorii testów.

  2. Poczekaj na wyskakujące okienko z ścieżką do zapisanego raportu (np. /sdcard/verifierReports/ctsVerifierReport-date-time.zip), a potem zapisz ścieżkę.

  3. Podłącz urządzenie do testów do komputera z Linuxem.

  4. Po zainstalowaniu pakietu Android SDK na komputerze z systemem Linux pobierz raporty z połączonego urządzenia, używając polecenia adb shell content read lub adb pull CTSVerifierReportPath.

    • W przypadku Androida w wersji 7.x lub nowszej pobierz wszystkie raporty za pomocą tego polecenia:

      adb pull /sdcard/verifierReports
      
    • W przypadku Androida 6.0 lub starszych wersji pobierz wszystkie raporty za pomocą tego polecenia:

      adb pull /mnt/sdcard/ctsVerifierReports/
      
    • W przypadku Androida 10 lub nowszego, gdy korzystasz z Automotive i urządzeń jako użytkownik pomocniczy, pobierz najnowszy raport, używając tego polecenia:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip
      

      Aby wyświetlić listę wszystkich raportów dostępnych na połączonym urządzeniu:

      adb shell content query --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports
      

      Aby pobrać raport z listy, możesz podać identyfikator wiersza lub nazwę pliku. Na przykład:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
      
      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/ctsVerifierReport-date-time.zip >
      report.zip
      
  5. Aby wyczyścić wyniki, otwórz je w aplikacji CTS Verifier i wybierz Menu > Wyczyść.