Uruchamianie testów zautomatyzowanych (Android 11 lub nowszy)

Testy automatyczne CTS można uruchamiać na 2 sposoby:

• Trade Federation to aplikacja i platforma testowa, która umożliwia przeprowadzanie testów z poziomu wiersza poleceń. W zasadzie framework umożliwia dodawanie adnotacji do testów za pomocą adnotacji @Test, a aplikacja znajduje i uruchamia te testy.

• OmniLab Android Test Station to aplikacja, która umożliwia przeprowadzanie testów w GUI.

Na tej stronie dowiesz się, jak przeprowadzać testy automatyczne za pomocą Trade Federation. Instrukcje przeprowadzania testów za pomocą OmniLab Android Test Harness znajdziesz w artykule OmniLab Android Test Station.

Uruchamianie wszystkich zautomatyzowanych testów CTS

Trade Federation zawiera konsolę CTS, czyli interfejs wiersza poleceń do uruchamiania testów. Aby uruchomić cały zautomatyzowany pakiet testów CTS:

1. Sprawdź, czy postępujesz zgodnie z instrukcjami w artykule Konfigurowanie automatycznego testowania CTS.

2. Na stacji roboczej testowej uruchom konsolę CTS, wykonując skrypt cts-tradefed z folderu, w którym rozpakowano pakiet CTS:

   ./android-cts/tools/cts-tradefed
   

   W konsoli CTS wyświetla się kursor, przy którym możesz wpisywać polecenia CTS (cts-tradefed >).

3. Plan testów cts zawiera wszystkie automatyczne testy CTS. Aby uruchomić plan testów cts, wykonaj to polecenie:

   run cts
   

   Zostaną uruchomione zautomatyzowane testy CTS. Uwaga:

   • Android 13 i nowsze wersje obsługują testowanie na wielu urządzeniach. Te testy są przeprowadzane automatycznie tylko wtedy, gdy używane jest dzielenie na fragmenty. Więcej informacji o dzieleniu na fragmenty znajdziesz w artykule Skracanie czasu wykonywania testów. Jeśli chcesz uruchomić te testy ręcznie, zapoznaj się z artykułem Uruchamianie testów na wielu urządzeniach.

   • Podczas uruchamiania CTS naciśnij ctrl+c, aby zatrzymać istniejącą konsolę CTS, a następnie uruchom ją ponownie.

   • Nie można uruchomić wielu wersji CTS na jednym hoście, ponieważ każda z nich otwiera się z istniejącym serwerem kodu lokalizacji otwartej (OLC).

4. Wyświetl wyniki testu. Więcej informacji znajdziesz w artykule Interpretowanie wyników CTS.

5. Jeśli to Twój pierwszy test, niektóre testy mogą się nie powieść z przyczyn od Ciebie niezależnych. Na przykład połączenie sieciowe może być powolne lub sygnał GPS może być słaby. Ponownie uruchom testy, aż wszystkie moduły testowe zostaną ukończone, a liczba nieudanych testów będzie taka sama w przypadku 2 ostatnich sesji ponawiania:

   run retry --retry session_number`
   

6. Jeśli po ponownych próbach testy nadal nie przechodzą, skup się na debugowaniu pozostałych nieudanych testów. Informacje o rozwiązywaniu problemów z wynikami testów znajdziesz w artykułach Triage test failures i Troubleshoot CTS tests.

Uruchamianie CTS na urządzeniach z wieloma ekranami

Jeśli na urządzeniu jest zainstalowany Android 11 lub 12 i ma ono kilka ekranów, musisz uruchomić plan testów cts-foldable osobno:

run cts-foldable

Do zdanych lub niezdanych przypadków testowych w trybie ekranu alternatywnego dodawana jest wartość z pola display_mode, np. testcase1[display_mode=0].

Przeprowadzanie testów na wielu urządzeniach (Android 15 lub starszy)

Aby uruchomić plan testów cts-multidevice, wykonaj to polecenie:

run cts-multidevice

Uruchamianie poszczególnych planów testów

Zamiast uruchamiać wszystkie plany testów jednocześnie, możesz uruchamiać poszczególne plany. Ta opcja jest przydatna, jeśli chcesz zaoszczędzić czas i skupić się na określonym zestawie testów. Aby uruchomić pojedynczy plan testów:

1. Określ nazwę planu testów, który chcesz uruchomić, wykonując polecenie list modules.

2. Uruchom plan testów:

   run cts --plan test_module_or_plan_name
   

Skracanie czasu wykonywania testów

Jeśli chcesz skrócić czas wykonywania testów, możesz podzielić je na mniejsze części i uruchomić na kilku urządzeniach. Dzielenie na partycje wymaga podłączenia co najmniej 2 urządzeń, ale dla większej wydajności zalecamy 6 lub więcej urządzeń.

Aby podzielić testy na fragmenty na urządzeniu z Androidem 11 lub nowszym, uruchom:

run cts --shard-count number_of_shards

Dodatkowo przed uruchomieniem testów w celu weryfikacji możesz skrócić czas wykonywania testów, używając polecenia CTS run cts-dev. To polecenie pomija warunki wstępne, zbieranie informacji o urządzeniu i wszystkie narzędzia sprawdzające stan systemu. Uruchamia też testy tylko na jednym interfejsie ABI.