Wyniki badań CTS umieszczane są w pliku:
CTS_ROOT/android-cts/results/start_time.zip
Jeśli sam zbudowałeś CTS, CTS_ROOT przypomina out/host/linux-x86/cts , ale różni się w zależności od platformy. Odzwierciedla to ścieżkę, w której rozpakowano wstępnie skompilowany oficjalny CTS pobrany z tej witryny.
Wewnątrz zip plik test_result.xml zawiera rzeczywiste wyniki.
Wyświetl wyniki z Androida 10 i nowszych wersji
W archiwum ZIP znajduje się plik test_result.html, można go bezpośrednio otworzyć w dowolnej przeglądarce internetowej obsługującej HTML5
Wyświetl wyniki w wersji starszej niż Android 10
Otwórz plik test_result.xml w dowolnej przeglądarce internetowej obsługującej HTML5, aby wyświetlić wyniki testu
Jeśli ten plik wyświetla pustą stronę podczas korzystania z przeglądarki Chrome, zmień konfigurację przeglądarki , aby włączyć flagę wiersza poleceń --allow-file-access-from-files .
Przeczytaj wyniki testu
Szczegóły wyników testu zależą od używanej wersji CTS:
- CTS v1 dla Androida 6.0 i wcześniejszych
- CTS v2 dla Androida 7.0 i nowszych
Informacje o urządzeniu
W CTS v1 i wcześniejszych wybierz Informacje o urządzeniu (link powyżej Podsumowanie testu), aby wyświetlić szczegółowe informacje o urządzeniu, oprogramowaniu sprzętowym (marka, model, wersja oprogramowania sprzętowego, platforma) i sprzęcie urządzenia (rozdzielczość ekranu, klawiatura, typ ekranu). CTS v2 nie wyświetla informacji o urządzeniu.
Podsumowanie testu
Sekcja Podsumowanie testu zawiera szczegóły wykonanego planu testów, takie jak nazwa planu CTS oraz godziny rozpoczęcia i zakończenia wykonania. Przedstawia także zbiorcze podsumowanie liczby testów, które zakończyły się sukcesem, niepowodzeniem, przekroczeniem limitu czasu lub których nie można było wykonać.
Podsumowanie przykładowego testu Androida 10 CTS
Rysunek 1: Podsumowanie przykładowego testu Androida 10 CTS
Podsumowanie przykładowego testu CTS v2
Rysunek 2: Podsumowanie przykładowego testu CTS v2
Podsumowanie przykładowego testu CTS v1
Rysunek 3: Podsumowanie przykładowego testu CTS v1
Sprawozdanie z badań
Następna sekcja, raport z testów CTS, zawiera podsumowanie testów, które zdały każdy pakiet.
Następnie znajdują się szczegółowe informacje na temat faktycznie przeprowadzonych testów. Raport zawiera listę pakietu testów, zestawu testów, przypadku testowego i wykonanych testów. Pokazuje wynik wykonania testu — wynik pozytywny, negatywny, przekroczono limit czasu lub nie wykonano. W przypadku niepowodzenia testu udostępniane są szczegółowe informacje, które pomogą zdiagnozować przyczynę.
Co więcej, ślad stosu niepowodzenia jest dostępny w pliku XML, ale nie jest uwzględniany w raporcie, aby zapewnić zwięzłość — przeglądanie pliku XML za pomocą edytora tekstu powinno dostarczyć szczegółów niepowodzenia testu (wyszukaj znacznik [Test] odpowiadający nieudany test i poszukaj w nim tagu [StackTrace] ).
Pokaż przykładowy raport z testu CTS v2
Rysunek 4: Przykładowy raport z testu CTS v2
Pokaż przykładowy raport z testu CTS v1
Rysunek 5: Przykładowy raport z testu CTS v1
Przejrzyj plik test_result.xml pod kątem niekompletnych modułów testowych
Aby określić liczbę niekompletnych modułów w danej sesji testowej, uruchom polecenie „wyświetl wyniki”. Liczba ukończonych modułów i łączna liczba modułów są wyświetlane dla każdej poprzedniej sesji. Aby określić, które moduły są kompletne, a które niekompletne, otwórz plik test_result.xml i odczytaj wartość atrybutu „done” dla każdego modułu w raporcie wyników. Moduły z wartością „done = „false” nie zostały ukończone.
Niepowodzenie testu selekcji
Skorzystaj z poniższych sugestii, aby dokonać selekcji niepowodzeń testów.
- Sprawdź, czy środowisko CTS jest poprawnie skonfigurowane, jeśli test kończy się niepowodzeniem z powodu nieprawidłowych warunków wstępnych. Obejmuje to środowisko fizyczne, konfigurację komputera stacjonarnego i konfigurację urządzenia z systemem Android.
- Jeśli test wydaje się nadmiernie niestabilny, sprawdź stabilność urządzenia, konfigurację testu lub problemy ze środowiskiem.
- Jeśli test nadal kończy się niepowodzeniem, ponów test w izolacji.
- Sprawdź czynniki zewnętrzne powodujące niepowodzenie testu, takie jak:
- Konfiguracja środowiskowa. Na przykład źle skonfigurowana konfiguracja komputera stacjonarnego może być przyczyną niepowodzeń testów występujących na wszystkich testowanych urządzeniach (DUT) (w tym na urządzeniach referencyjnych).
- Zależności zewnętrzne. Na przykład, jeśli test zakończy się niepowodzeniem na wszystkich urządzeniach w wielu witrynach, począwszy od określonego momentu, przyczyną może być zły adres URL.
- Jeżeli urządzenie DUT nie zawiera poprawki zabezpieczeń, oczekuje się niepowodzenia testu bezpieczeństwa.
- Zweryfikuj i przeanalizuj różnice pomiędzy urządzeniami przechodzącymi i ulegającymi awarii.
- Przeanalizuj twierdzenie, dziennik, raport o błędzie i źródło CTS . W przypadku testu HostTest asercja i dziennik mogą być bardzo ogólne, dlatego warto również sprawdzić i dołączyć logcat urządzenia.
- Prześlij poprawkę poprawiającą test, aby pomóc w ograniczeniu niepowodzeń testów.
Zapisz częściowe wyniki
Tradefed nie zapisuje częściowych wyników testów, gdy wywołanie testu nie powiedzie się.
Gdy Tradefed nie generuje żadnych wyników testu, sugeruje się, że podczas przebiegu testu wystąpił poważny problem, przez co wynik testu jest niewiarygodny. Częściowy wynik uznaje się za nieprzydatny, ponieważ nie wnosi wartości do badania problemu z urządzeniem.