Wyniki testu CTS są umieszczane w pliku:
CTS_ROOT/android-cts/results/start_time.zip
Jeśli samodzielnie utworzysz CTS, CTS_ROOT będzie podobny do out/host/linux-x86/cts, ale będzie się różnić w zależności od platformy. Jest to ścieżka, w której rozpakowano wstępnie skompilowany oficjalny pakiet CTS pobrany z tej witryny.
W pliku ZIP plik test_result.xml zawiera rzeczywiste wyniki.
Wyświetlanie wyników z Androida 10 i nowszych
W archiwum ZIP znajduje się plik test_result.html, który możesz otworzyć bezpośrednio w dowolnej przeglądarce zgodnej z HTML5.
Wyświetlanie wyników z wersji starszych niż Android 10
Otwórz plik test_result.xml w dowolnej przeglądarce internetowej zgodnej z HTML5, aby wyświetlić wyniki testu.
Jeśli ten plik wyświetla pustą stronę w przeglądarce Chrome, zmień konfigurację przeglądarki, aby włączyć flagę wiersza poleceń --allow-file-access-from-files.
Odczytywanie wyników testu
Szczegóły wyników testu zależą od używanej wersji CTS:
- CTS w wersji 1 dla Androida 6.0 i starszych
- CTS w wersji 2 na Androida 7.0 i nowsze
Informacje o urządzeniu
W CTS w wersji 1 i starszych wybierz Informacje o urządzeniu (link nad Podsumowaniem testu), aby wyświetlić szczegóły dotyczące urządzenia, oprogramowania (producent, model, kompilacja oprogramowania, platforma) i sprzętu (rozdzielczość ekranu, klawiatura, typ ekranu). CTS v2 nie wyświetla informacji o urządzeniu.
Podsumowanie testu
Sekcja Podsumowanie testu zawiera szczegóły wykonanego planu testów, takie jak nazwa planu CTS oraz czas rozpoczęcia i zakończenia wykonania. Zawiera też zbiorcze podsumowanie liczby testów, które zakończyły się powodzeniem, niepowodzeniem, przekroczyły limit czasu lub nie mogły zostać wykonane.
Podsumowanie przykładowego testu CTS na Androida 10
Rysunek 1. Podsumowanie przykładowego testu CTS na Androidzie 10
Podsumowanie przykładowego testu CTS w wersji 2
Ilustracja 2. Podsumowanie przykładowego testu CTS w wersji 2
Podsumowanie przykładowego testu CTS w wersji 1
Rysunek 3. Przykładowe podsumowanie testu CTS w wersji 1
Raport z testu
W następnej sekcji, czyli raporcie z testów CTS, znajdziesz podsumowanie testów, które zostały zaliczone w poszczególnych pakietach.
Następnie podajemy szczegóły przeprowadzonych testów. Raport zawiera listę pakietu testów, zestawu testów, przypadku testowego i przeprowadzonych testów. Wyświetla wynik wykonania testu: pozytywny, negatywny, przekroczono limit czasu lub nie wykonano. W przypadku niepowodzenia testu podawane są szczegóły, które pomagają zdiagnozować przyczynę.
Ponadto ślad stosu błędu jest dostępny w pliku XML, ale nie jest uwzględniony w raporcie, aby zapewnić jego zwięzłość. Wyświetlenie pliku XML w edytorze tekstu powinno zawierać szczegóły błędu testu (wyszukaj tag [Test] odpowiadający testowi, który się nie powiódł, i w nim tag [StackTrace]).
Przykładowy raport z testu CTS w wersji 2
Ilustracja 4. Przykładowy raport z testu CTS w wersji 2
Przykładowy raport z testu CTS w wersji 1
Rysunek 5. Przykładowy raport z testu CTS w wersji 1
Sprawdź plik test_result.xml pod kątem niekompletnych modułów testowych
Aby określić liczbę niekompletnych modułów w danej sesji testowej, uruchom polecenie „list results”. W przypadku każdej poprzedniej sesji podana jest liczba ukończonych modułów i łączna liczba modułów. Aby sprawdzić, które moduły są ukończone, a które nie, otwórz plik test_result.xml i odczytaj wartość atrybutu „done” dla każdego modułu w raporcie z wynikami. Moduły z wartością done = „false” nie zostały uruchomione do końca.
Niepowodzenia testów wstępnych
Aby rozwiązać problemy z nieudanymi testami, skorzystaj z tych sugestii.
- Jeśli test kończy się niepowodzeniem z powodu nieprawidłowych warunków wstępnych, sprawdź, czy środowisko CTS jest prawidłowo skonfigurowane. Obejmuje to środowisko fizyczne, konfigurację komputera stacjonarnego i konfigurację urządzenia z Androidem.
- Sprawdź stabilność urządzenia, konfigurację testu lub problemy ze środowiskiem, jeśli test jest zbyt niestabilny.
- Jeśli test nadal się nie powiedzie, spróbuj go wykonać osobno.
- Sprawdź, czy nie występują czynniki zewnętrzne powodujące niepowodzenia testów, takie jak:
- Konfiguracja środowiska. Na przykład przyczyną niepowodzeń testów na wszystkich testowanych urządzeniach (DUT), w tym urządzeniach referencyjnych, może być nieprawidłowo skonfigurowany komputer stacjonarny.
- zależności zewnętrzne, Jeśli na przykład test kończy się niepowodzeniem na wszystkich urządzeniach w wielu witrynach od określonego momentu, przyczyną może być nieprawidłowy adres URL.
- Jeśli DUT nie zawiera poprawki zabezpieczeń, niepowodzenie testu zabezpieczeń jest oczekiwane.
- Sprawdź i przeanalizuj różnice między urządzeniami, które przeszły test, a tymi, które go nie przeszły.
- Przeanalizuj asercję, log, raport o błędzie i źródło pakietu CTS. W przypadku testu HostTest asercja i dziennik mogą być bardzo ogólne, dlatego warto też sprawdzić i dołączyć dziennik urządzenia.
- Prześlij poprawkę testu, aby zmniejszyć liczbę błędów.
Zapisywanie wyników częściowych
W przypadku niepowodzenia wywołania testu Tradefed nie zapisuje częściowych wyników testu.
Jeśli Tradefed nie generuje żadnych wyników testu, oznacza to, że podczas testu wystąpił poważny problem, przez co wynik testu jest niewiarygodny. Częściowy wynik jest uznawany za nieprzydatny, ponieważ nie wnosi nic do rozwiązania problemu z urządzeniem.