Uruchom testy CTS

Federacja Handlowa to platforma ciągłych testów do przeprowadzania testów na urządzeniach z Androidem. Aby uruchomić zestaw testów zgodności (CTS), najpierw przeczytaj Przegląd Federacji Handlowej w celu wyjaśnienia struktury testów Tradefed.

Aby uruchomić plan testów:

  1. Skonfiguruj testowane urządzenia (DUT) zgodnie z konfiguracją urządzenia z systemem Android .
  2. Upewnij się, że zainstalowałeś najnowsze wersje Android Debug Bridge (adb) i Android Asset Packaging Tool (AAPT) i dodałeś lokalizację tych narzędzi do ścieżki systemowej swojego komputera. Aby uzyskać informacje na temat instalowania tych narzędzi, zobacz Konfigurowanie CTS: ADB i AAPT.
  3. Pobierz wydane kompilacje CTS na komputer hosta z systemem Linux i rozpakuj kompilację do lokalizacji hosta.
  4. Podłącz co najmniej jedno urządzenie. Aby przygotować testowany test:
    • Naciśnij przycisk Home , aby ustawić urządzenie na ekranie głównym.
    • Nie używaj DUT do żadnych innych zadań.
    • Trzymaj testowane urządzenie w pozycji stacjonarnej, aby uniknąć wyzwolenia aktywności czujnika.
    • Skieruj kamerę urządzenia na obiekt, na którym można ustawić ostrość.
    • Nie naciskaj żadnych klawiszy na urządzeniu, gdy CTS jest uruchomiony. Naciskanie klawiszy lub dotykanie ekranu testowanego urządzenia zakłóca wykonywanie testów i może prowadzić do niepowodzeń testów.
  5. Uruchom skrypt cts-tradefed konsoli CTS z folderu, w którym rozpakowano pakiet CTS. W powłoce wiersza poleceń hosta uruchom:

    ./android-cts/tools/cts-tradefed
  6. Uruchom domyślny plan testów (zawiera wszystkie pakiety testowe):

    cts-tradefed > run cts
    • Jeśli chcesz skrócić czas wykonywania testów, możesz podzielić testy na wiele urządzeń. Sharding wymaga od hosta podłączenia co najmniej dwóch urządzeń, ale ze względu na wydajność zaleca się użycie sześciu lub więcej urządzeń. Podczas fragmentowania więcej niż 1 urządzenia:

      • W przypadku Androida 9 i nowszych użyj opcji polecenia

        --shard-count number_of_shards
      • W przypadku Androida 8.1 i starszych użyj opcji polecenia

        --shards number_of_shards
    • Jeśli nie chcesz uruchamiać całego zestawu testów, możesz uruchomić wybrany plan CTS z wiersza poleceń:

      run cts --plan test_plan_name

      Aby znaleźć nazwę planu testów:

      • W przypadku Androida 7.0 i nowszych, aby zobaczyć listę modułów testowych, wpisz

        list modules
      • W przypadku Androida 6.0 i starszych, aby wyświetlić listę planów testów w repozytorium, wpisz

        list plans
      • W przypadku Androida 6.0 i starszych, aby wyświetlić listę pakietów testowych w repozytorium, wpisz

        list packages
    • Dodatkowe opcje poleceń w zależności od wersji CTS można znaleźć w dokumentacji poleceń konsoli lub w sekcji „pomoc wszystkim” w konsoli Tradefed.

  7. Uruchom wiele sesji ponawiania prób, aż wszystkie moduły testowe zostaną ukończone, a liczba niepowodzeń testów będzie taka sama w dwóch ostatnich sesjach ponawiania prób.

    • W przypadku Androida 9 i nowszych użyj

      run retry --retry session_number --shard-count number_of_shards
    • W przypadku Androida 7.0–8.1 użyj

      run cts --retry session_number --shards number_of_shards
    • Aby uzyskać dodatkowe opcje polecenia Ponów próbę w zależności od wersji CTS, zobacz Konsola poleceń CTS v2 .

    • Aby poznać szczegóły implementacji ponawiania próby CTS, zobacz temat Ponowna próba pakietu Trade Federation Suite .

  8. Uruchom sesję ponawiania próby tylko w przypadku nieudanych testów sparametryzowanych. Zaliczone testy sparametryzowane nie są ponawiane.

    • W przypadku systemu Android 11 i nowszych wersji w poleceniu run cts domyślnie włączona jest następująca opcja polecenia ponów próbę:

      run retry --retry  --new-parameterized-handling
  9. Przeglądaj postęp testów i wyniki raportowane na konsoli.

Uruchom CTS za pomocą aplikacji Android Test Station

Android Test Station to narzędzie do automatyzacji testów, którego programiści i inżynierowie testów Androida mogą używać do wykorzystania interfejsu użytkownika do uruchamiania standardowych zestawów testów. Współpracuje z pakietem testów zgodności Androida (CTS) .

Narzędzie jest publicznie dostępne w Podręczniku użytkownika ATS , a jego kod jest open source w AOSP ( multitest_transport , tradefed_cluster ).

Uruchom CTS dla trybów alternatywnych

Wersja CTS 10 R4 dodaje plan testów dla urządzeń z alternatywnymi trybami lub dla urządzeń z więcej niż jednym ekranem. Wykonaj plan testów trybów alternatywnych, używając run cts-foldable .

Zaliczone lub nieudane przypadki testowe dla alternatywnego trybu ekranu są dołączane z wartością z display_mode , na przykład testcase1[display_mode=0] .

W CTS 13 interfejs API DeviceStateManager umożliwia uruchamianie modułów testowych z następującą opcją konfiguracji na różnych stanach urządzenia składanego. Wykonanie testu odbywa się automatycznie w CTS na podstawie zdefiniowanych w urządzeniu stanów składania wyświetlacza, bez konieczności uruchamiania planu testów cts-foldable .

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

Testowanie wielu urządzeń w CTS

Android 13 i nowsze obsługują testowanie na wielu urządzeniach. Testy wymagające wielu urządzeń są wykonywane automatycznie podczas przebiegu CTS. CTS 13 zawiera kilka testów na wielu urządzeniach, które uruchamiają się automatycznie w przypadku użycia fragmentowania. Chociaż testowanie nie wymaga dodatkowych zmian w konfiguracji fizycznej, aby testy przebiegły poprawnie, należy zainstalować virtualenv . Aby uzyskać szczegółowe informacje, zobacz Pakiety dla wielu urządzeń .

Przeprowadź testy na wielu urządzeniach

Aby niezależnie uruchomić testy na wielu urządzeniach, użyj następującego kodu:

  cts-tradefed > run cts-multidevice
  

Obsługiwane są wszystkie standardowe opcje. Aby kierować reklamy na określone urządzenia, dodaj --serial <serial1> --serial <serial2> i tak dalej, aby uzyskać liczbę docelowych urządzeń.

Aby automatycznie uruchomić testy na wielu urządzeniach, użyj fragmentowania, jak w przypadku --shard-count 2 .