Uruchamianie testów zautomatyzowanych (Android 11 lub nowszy)

Automatyczne testy CTS można uruchamiać na 2 sposoby:

  • Trade Federation to aplikacja i platforma testowa, która umożliwia uruchamianie testów z wiersza polecenia. Platforma umożliwia oznaczanie testów za pomocą adnotacji @Test, a aplikacja znajduje i uruchamia te testy.

  • OmniLab Android Test Station to aplikacja, która umożliwia uruchamianie testów w graficznym interfejsie użytkownika.

Z tej strony dowiesz się, jak uruchamiać automatyczne testy za pomocą Trade Federation. Instrukcje dotyczące uruchamiania testów za pomocą OmniLab Android Test Harness znajdziesz w artykule OmniLab Android Test Station.

Uruchamianie wszystkich automatycznych testów CTS

Trade Federation zawiera konsolę CTS, czyli interfejs wiersza polecenia do uruchamiania testów. Aby uruchomić cały zestaw testów CTS:

  1. Upewnij się, że wykonano instrukcje opisane w artykule Konfigurowanie automatycznego testowania CTS.
  2. Na stacji roboczej do testowania uruchom konsolę CTS, wykonując skrypt cts-tradefed z folderu, w którym rozpakowano pakiet CTS:

    ./android-cts/tools/cts-tradefed
    

    Konsola CTS wyświetla kursor, za pomocą którego możesz wpisywać polecenia CTS (cts-tradefed >).

  3. Plan testów cts zawiera wszystkie automatyczne testy CTS. Aby uruchomić plan testów cts, wykonaj to polecenie:

    run cts
    

    Uruchamiają się automatyczne testy CTS. Pamiętaj:

    • Android 13 i nowsze wersje obsługują testowanie na wielu urządzeniach. Te testy są uruchamiane automatycznie tylko wtedy, gdy używane jest dzielenie. Więcej informacji o dzieleniu znajdziesz w artykule Skracanie czasu wykonywania testów. Jeśli chcesz uruchomić te testy ręcznie, przeczytaj artykuł Uruchamianie testów na wielu urządzeniach.

    • Podczas uruchamiania CTS naciśnij Ctrl+C , aby zatrzymać bieżącą konsolę CTS, a następnie uruchom ją ponownie.

    • Nie można uruchomić kilku wersji CTS na jednym hoście, ponieważ każda z nich otwiera się z istniejącym otwartym serwerem kodu lokalizacji (OLC).

  4. Wyświetl wyniki testów. Więcej informacji znajdziesz w artykule Interpretowanie wyników CTS.

  5. Jeśli to Twoje pierwsze uruchomienie testów, niektóre z nich mogą się nie powieść z przyczyn niezależnych od Ciebie. Na przykład połączenie sieciowe może być wolne lub sygnał GPS może być słaby. Uruchamiaj testy ponownie, aż wszystkie moduły testowe zostaną ukończone, a liczba niepowodzeń testów będzie taka sama w 2 ostatnich sesjach ponawiania:

    run retry --retry session_number`
    
  6. Gdy nieudane testy będą się powtarzać, skup się na debugowaniu pozostałych nieudanych testów. Informacje o rozwiązywaniu problemów z wynikami testów znajdziesz w artykułach Analizowanie nieudanych testów i Rozwiązywanie problemów z testami CTS.

Uruchamianie CTS na urządzeniach z wieloma ekranami

Jeśli na urządzeniu jest zainstalowany Android 11 lub 12 i ma ono wiele ekranów, musisz uruchomić plan testów cts-foldable osobno:

run cts-foldable

Zaliczone lub nieudane przypadki testowe w trybie ekranu alternatywnego są dołączane do wartości z display_mode, np. testcase1[display_mode=0].

Uruchamianie testów na wielu urządzeniach (Android 15 lub starszy)

Aby uruchomić plan testów cts-multidevice, wykonaj to polecenie:

run cts-multidevice

Uruchamianie poszczególnych planów testów

Zamiast uruchamiać wszystkie plany testów naraz, możesz uruchamiać poszczególne plany testów. Ta opcja pozwala zaoszczędzić czas i skupić się na konkretnym zestawie testów. Aby uruchomić pojedynczy plan testów:

  1. Aby znaleźć nazwę planu testów, który chcesz uruchomić, wykonaj polecenie list modules.

  2. Uruchom plan testów:

    run cts --plan test_module_or_plan_name
    

Skracanie czasu wykonywania testów

Jeśli chcesz skrócić czas wykonywania testów, możesz podzielić testy na kilka urządzeń. Dzielenie wymaga, aby host był połączony z co najmniej 2 urządzeniami, ale dla większej wydajności zalecamy używanie co najmniej 6 urządzeń.

Aby podzielić testy w Androidzie 11 lub nowszym, uruchom:

run cts --shard-count number_of_shards

Dodatkowo przed uruchomieniem testów w celu weryfikacji możesz skrócić czas ich wykonywania, używając polecenia CTS run cts-dev. To polecenie pomija warunki wstępne, zbieranie informacji o urządzeniu i wszystkie narzędzia do sprawdzania stanu systemu. Uruchamia też testy tylko na jednym ABI.