Przeprowadzanie zautomatyzowanych testów CTS (Android 11 lub nowszy)

Testy automatyczne CTS można przeprowadzać na 2 sposoby:

  • Trade Federation to platforma aplikacji i testów, która umożliwia uruchamianie testów z poziomu wiersza poleceń. Framework umożliwia dodawanie adnotacji do testów za pomocą adnotacji @Test, a aplikacja znajduje i uruchamia te testy.

  • OmniLab Android Test Station to aplikacja, która umożliwia uruchamianie testów w interfejsie graficznym.

Z tej strony dowiesz się, jak przeprowadzać testy automatyczne za pomocą Trade Federation. Instrukcje dotyczące uruchamiania testów za pomocą zestawu testowego OmniLab Android Test Harness znajdziesz w artykule Stacja testowa OmniLab Android Test Station.

Przeprowadzanie wszystkich zautomatyzowanych testów CTS

Federacja handlowa zawiera konsolę CTS, czyli interfejs wiersza poleceń do uruchamiania testów. Aby uruchomić cały automatyczny zestaw testów CTS:

  1. Upewnij się, że postępujesz zgodnie z instrukcjami podanymi w artykule Konfigurowanie automatycznego testowania CTS.

  2. Na testowej stacji roboczej uruchom konsolę CTS, uruchamiając skrypt cts-tradefed z folderu, w którym rozpakowano pakiet CTS:

    ./android-cts/tools/cts-tradefed

    Konsola CTS wyświetla kursor, za pomocą którego możesz wpisywać polecenia CTS (cts-tradefed >).

  3. Plan testów cts zawiera wszystkie automatyczne testy CTS. Aby uruchomić plan testów cts, uruchom to polecenie:

    run cts

    Automatyczne testy CTS są wykonywane. Uwaga:

    • Android 13 i nowsze wersje obsługują testowanie na wielu urządzeniach. Te testy są przeprowadzane automatycznie tylko wtedy, gdy używasz podziału. Więcej informacji o dziedziczeniu znajdziesz w artykule Skracanie czasu wykonywania testów. Jeśli chcesz uruchomić te testy ręcznie, zapoznaj się z artykułem Uruchamianie testów na wielu urządzeniach.

    • Podczas uruchamiania CTS naciśnij Ctrl+C, aby zatrzymać istniejące okno konsoli CTS, a następnie uruchom ponownie konsolę CTS.

    • Nie można uruchomić wielu wersji CTS na jednym hoście, ponieważ każda z nich otwiera się z dotychczasowym serwerem z otwartym kodem lokalizacji (OLC).

  4. wyświetlać wyniki testu; Więcej informacji znajdziesz w artykule Interpretowanie wyników testu CTS.

  5. Jeśli jest to pierwszy test, niektóre testy mogą się nie udać z powodu problemów, na które nie masz wpływu. Może to być spowodowane na przykład wolnym połączeniem sieciowym lub słabym sygnałem GPS. Uruchom ponownie testy (ponownie) do czasu, aż wszystkie moduły testowe zostaną ukończone, a liczby błędów testów będą takie same w przypadku ostatnich 2 sesji ponownego uruchamiania:

    run retry --retry session_number`

  6. Gdy nieudane testy są konsekwentne podczas kolejnych prób, skup się na debugowaniu pozostałych nieudanych testów. Informacje o rozwiązywaniu problemów z wynikami testów znajdziesz w artykułach Rozpoznawanie błędów testów i Rozwiązywanie problemów z testami CTS.

Uruchamianie CTS na urządzeniach wieloekranowych

Jeśli masz urządzenie z Androidem 11 lub 12 i wiele ekranów, musisz osobno uruchomić plan testów cts-foldable:

run cts-foldable

Przypadki testowe, które zakończyły się powodzeniem lub niepowodzeniem w trybie alternatywnego ekranu, są dołączane z wartością z display_mode, np. testcase1[display_mode=0].

Uruchamianie testów na wielu urządzeniach

Aby uruchomić plan testów cts-multidevice, uruchom to polecenie:

run cts-multidevice

Uruchamianie poszczególnych planów testów

Zamiast uruchamiać wszystkie plany testów jednocześnie, możesz uruchomić poszczególne plany testów. Ta opcja pozwala zaoszczędzić czas i skupić się na określonym zestawie testów. Aby uruchomić pojedynczy plan testów:

  1. Określ nazwę planu testowego, który chcesz uruchomić, wykonując polecenie list modules.

  2. Uruchom plan testów:

    run cts --plan test_module_or_plan_name

Skrócenie czasu wykonywania testów

Jeśli chcesz skrócić czas wykonywania testów, możesz podzielić je na kilka urządzeń. Aby korzystać z podzielenia, host musi połączyć co najmniej 2 urządzenia, ale dla lepszej wydajności zalecamy połączenie co najmniej 6 urządzeń.

Aby podzielić testy na fragmenty na Androidzie 11 lub nowszym, wykonaj te czynności:

run cts --shard-count number_of_shards

Dodatkowo przed uruchomieniem testów w celu ich zatwierdzenia możesz skrócić czas ich wykonywania, używając polecenia CTS run cts-dev. To polecenie pomija warunki wstępne, zbieranie informacji o urządzeniu i wszystkie sprawdzanie stanu systemu. Testy są też wykonywane tylko na jednym ABI.