Wyniki testu CTS są umieszczane w pliku:
CTS_ROOT/android-cts/results/start_time.zip
Jeśli pakiet CTS został utworzony samodzielnie, CTS_ROOT przypomina
out/host/linux-x86/cts, ale różni się w zależności od platformy. Odzwierciedla to ścieżkę, w której
rozpakowano wstępnie utworzony oficjalny pakiet CTS
pobrany z tej witryny.
W pliku ZIP plik test_result.xml zawiera rzeczywiste wyniki.
Wyświetlanie wyników Androida 10 i nowszych wersji
W archiwum ZIP znajduje się plik test_result.html, który można otworzyć bezpośrednio w dowolnej przeglądarce zgodnej z HTML5.
Wyświetlanie wyników starszych wersji Androida niż 10
Aby wyświetlić wyniki testu, otwórz plik test_result.xml w dowolnej przeglądarce zgodnej z HTML5.
Jeśli ten plik wyświetla pustą stronę w przeglądarce Chrome,
zmień konfigurację przeglądarki
aby włączyć flagę wiersza poleceń --allow-file-access-from-files.
Odczytywanie wyników testu
Szczegóły wyników testu zależą od używanej wersji pakietu CTS:
- CTS w wersji 1 dla Androida 6.0 i starszych wersji
- CTS w wersji 2 dla Androida 7.0 i nowszych wersji
Informacje o urządzeniu
W pakiecie CTS w wersji 1 i starszych wersjach wybierz Informacje o urządzeniu (link nad podsumowaniem testu), aby wyświetlić szczegóły dotyczące urządzenia, oprogramowania układowego (producent, model, kompilacja oprogramowania układowego, platforma) i sprzętu urządzenia (rozdzielczość ekranu, klawiatura, typ ekranu). Pakiet CTS w wersji 2 nie wyświetla informacji o urządzeniu.
Podsumowanie testu
Sekcja Podsumowanie testu zawiera szczegóły wykonanego planu testu, takie jak nazwa planu CTS oraz czas rozpoczęcia i zakończenia wykonania. Zawiera też zbiorcze podsumowanie liczby testów, które zakończyły się powodzeniem, niepowodzeniem, przekroczeniem limitu czasu lub nie mogły zostać wykonane.
Przykładowe podsumowanie testu CTS w Androidzie 10
Rysunek 1. Przykładowe podsumowanie testu CTS w Androidzie 10
Przykładowe podsumowanie testu CTS w wersji 2
Rysunek 2. Przykładowe podsumowanie testu CTS w wersji 2
Przykładowe podsumowanie testu CTS w wersji 1
Rysunek 3. Przykładowe podsumowanie testu CTS w wersji 1
Raport z testu
Następna sekcja, raport z testu CTS, zawiera podsumowanie testów, które zakończyły się powodzeniem w przypadku każdego pakietu.
Następnie podawane są szczegóły rzeczywistych testów, które zostały wykonane. Raport zawiera listę pakietów testowych, zestawów testowych, przypadków testowych i wykonanych testów. Wyświetla wynik wykonania testu – powodzenie, niepowodzenie, przekroczenie limitu czasu lub niewykonanie. W przypadku niepowodzenia testu podawane są szczegóły, które pomagają zdiagnozować przyczynę.
Ponadto ślad stosu niepowodzenia jest dostępny w pliku XML, ale nie jest uwzględniany w raporcie, aby był on krótszy. Aby wyświetlić szczegóły niepowodzenia testu, otwórz plik XML w edytorze tekstu (wyszukaj tag [Test] odpowiadający nieudanemu testowi i poszukaj w nim tagu [StackTrace]).
Wyświetlanie przykładowego raportu z testu CTS w wersji 2
Rysunek 4. Przykładowy raport z testu CTS w wersji 2
Wyświetlanie przykładowego raportu z testu CTS w wersji 1
Rysunek 5. Przykładowy raport z testu CTS w wersji 1
Sprawdzanie pliku test_result.xml pod kątem niekompletnych modułów testowych
Aby określić liczbę niekompletnych modułów w danej sesji testowej, uruchom polecenie „list results”. W przypadku każdej poprzedniej sesji wyświetlana jest liczba ukończonych modułów i łączna liczba modułów. Aby określić, które moduły są kompletne, a które nie, otwórz plik test_result.xml i odczytaj wartość atrybutu „done” dla każdego modułu w raporcie z wynikami. Moduły z wartością done = „false” nie zostały wykonane do końca.
Triage nieudanych testów
Aby przeprowadzić triage nieudanych testów, skorzystaj z tych sugestii.
- Jeśli test kończy się niepowodzeniem z powodu nieprawidłowych warunków wstępnych, sprawdź, czy środowisko CTS jest prawidłowo skonfigurowane. Obejmuje to środowisko fizyczne, konfigurację komputera i konfigurację urządzenia z Androidem.
- Jeśli test jest nadmiernie niestabilny, sprawdź stabilność urządzenia, konfigurację testu lub problemy ze środowiskiem.
- Jeśli test nadal się nie powodzi, spróbuj go ponownie w izolacji.
- Sprawdź, czy nie występują czynniki zewnętrzne powodujące niepowodzenia testów, takie jak:
- Konfiguracja środowiska. Przyczyną niepowodzeń testów występujących na wszystkich testowanych urządzeniach (w tym urządzeniach referencyjnych) może być np. nieprawidłowo skonfigurowany komputer.
- Zależności zewnętrzne. Jeśli np. test kończy się niepowodzeniem na wszystkich urządzeniach w wielu witrynach od określonego momentu, przyczyną może być nieprawidłowy adres URL.
- Jeśli testowane urządzenie nie zawiera poprawki zabezpieczeń, niepowodzenie testu zabezpieczeń jest oczekiwane.
- Sprawdź i przeanalizuj różnice między urządzeniami, na których testy zakończyły się powodzeniem, a tymi, na których zakończyły się niepowodzeniem.
- Przeanalizuj asercję, dziennik, raport o błędach i źródło CTS. W przypadku HostTest asercja i dziennik mogą być bardzo ogólne, dlatego warto też sprawdzić i dołączyć logcat urządzenia.
- Aby zmniejszyć liczbę nieudanych testów, prześlij poprawkę ulepszającą test.
Zapisywanie częściowych wyników
Tradefed nie zapisuje częściowych wyników testu, gdy wywołanie testu się nie powiedzie.
Jeśli Tradefed nie generuje żadnych wyników testu, oznacza to, że podczas sesji testowej wystąpił poważny problem, przez co wynik testu jest niewiarygodny. Częściowy wynik jest uznawany za nieprzydatny, ponieważ nie pomaga w badaniu problemu z urządzeniem.