Kamera ITS w pudełku

Zbiór testów obrazu w aparacie (ITS) na Androida jest częścią weryfikatora pakietu Compatibility Test Suite (CTS) i zawiera testy weryfikujące zawartość obrazu. CTS Verifier obsługuje automatyzację testów ITS za pomocą wbudowanego systemu Kamera ITS. Obsługa testów ręcznych obejmuje wszystkie formaty urządzeń z Androidem.

Pakiet ITS w pakiecie zapewnia te korzyści:

• Automatyzacja Podczas testu nie jest wymagana interwencja człowieka.
• Łatwe rozwiązywanie problemów. Spójność środowiska testowego prowadzi do mniejszej liczby błędów konfiguracji i zwiększa możliwość powtórzenia testu.
• Skuteczność. Możliwość ponownego próbowania w przypadku pojedynczej kamery lub sceny poprawia wydajność testu.

Rozpocznij

ITS-in-a-box to plastikowe pudełko wycinane laserowo z rysunków CAD, tablet do tworzenia wykresów i urządzenie testowe (DUT). W poniższej tabeli opisano funkcje i specyfikacje dostępnych systemów ITS-in-a-box.

Aby rozpocząć korzystanie z ITS-in-a-box w przypadku kamery:

1. Kup lub zbuduj modułową, WFoV lub RFoV ITS-in-a-box.
2. Konfigurowanie tabletu za pomocą oprogramowania Camera ITS.
3. Przeprowadzanie testów
4. Zobacz wyniki z testu DUT.

Konfigurowanie tabletu

W tej sekcji znajdziesz szczegółowe instrukcje konfigurowania tabletu do korzystania z  testów ITS aparatu znajdujących się w katalogu CameraITS. W tych instrukcjach jako przykładowy tablet użyto urządzenia Pixel C. Informacje o wymaganiach i zaleceniach dotyczących tabletów znajdziesz w artykule Wymagania dotyczące tabletów.

Uwaga: skrypty w Pythonie dla kamery automatycznie ustawiają za Ciebie te opcje na tablecie:
Ustawienia > Wyświetlacz > Uśpienie > Po 30 minutach braku aktywności
Automatyczna jasność > WYŁ.

1. Naładuj tablet i go włącz. Jeśli pojawi się prośba o skonfigurowanie konta, ją pomiń (Camera ITS nie wymaga parowania z żadnym kontem na tablecie).
2. Zaktualizuj tablet do Androida 7.0 lub nowszego. Android 6.x i starsze nie obsługują ITS kamery.
3. Włącz tryb programisty.
4. Wróć do Ustawień i wybierz Opcje programisty.

   Włącz opcje	Włączono Pozostaw włączony ekran Debugowanie przez USB (umożliwia hostowi uruchamianie tabletu w trybie debugowania). Gdy po raz pierwszy połączysz tablet z hostem, pojawi się pytanie Zezwolić na debugowanie przez USB? Jeśli tablet nie wyświetla prośby o debugowanie, odłącz go, a następnie ponownie podłącz.
   Wyłączanie opcji	Automatyczne aktualizacje systemu Zweryfikuj aplikacje przez USB

5. Określ identyfikatory DUT i wykresu, uruchamiając $ adb devices, aby wyświetlić listę dostępnych urządzeń. Aby określić, które z nich to device_id, a które chart_id, podłącz i odłącz urządzenia, obserwując, które z nich łączą się i rozłączają.
6. Przeprowadź 3 testy, aby wyeliminować podpowiedzi i komunikaty, które mogą zasłaniać wykresy na ekranie tabletu.
   1. Umieść tablet ekranem do góry na stole (nie przyczepiaj go do tylnej części pudełka).
   2. Uruchom to polecenie:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Sceny 2 i 3 wymagają wyświetlenia obrazu na tablecie, dlatego tablet wyświetla prompt Zezwolić Dyskowi na dostęp do zdjęć, multimediów i plików na urządzeniu?. Aby usunąć to prompt (i zapobiec wyświetlaniu kolejnych), naciśnij Zezwól.
   3. Uruchom ponownie polecenie. Pojawia się pytanie Zachować kopię tego pliku? i podpowiada Dysk Google. Aby usunąć to prompt (i zapobiec wyświetlaniu kolejnych), kliknij ikonę Dysku, a następnie Anuluj przesyłanie na Dysk.
   4. Na koniec uruchom tools/run_all_tests.py i sprawdź, czy sceny zmieniają się automatycznie, gdy skrypt przechodzi przez różne sceny. Większość testów kończy się niepowodzeniem (ponieważ kamera nie jest skierowana na wykres), ale możesz sprawdzić, czy tablet prawidłowo przełącza się między scenami bez wyświetlania żadnych promptów ani innych wyskakujących okienek.

Przeprowadzanie testów

Przed uruchomieniem gotowego rozwiązania ITS upewnij się, że konfiguracja testu obejmuje te elementy sprzętowe i oprogramowanie:

• 1 urządzenie ITS-in-a-box
• 1 (1) 10-calowy tablet o wysokiej rozdzielczości do wyświetlania scen, numer seryjny: 5811000011
• 1 urządzenie testowe z zainstalowaną aplikacją CTS Verifier w wersji 7.0_8+ lub nowszej. Przykładowy numer DUT:
  • Jeden (1) Pixel NOF26W do testowania tylnego aparatu(0), numer seryjny: FA6BM0305016. Aby zainstalować aplikację CTS Verifier, rozpakuj plik android-cts-verifier.zip i uruchom go

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Uruchamianie scen na tabletach

Aby uruchomić sceny 0–4, 6 i scene_change na tylnym aparacie:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Przykład:

Ponowne uruchamianie scen

Możesz ponownie wykonać sceny dla jednej kamery:

• Aby ponownie przetworzyć sceny na jednej kamerze:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Uruchom scenę 5

Scena 5 wymaga specjalnej konfiguracji z określonym oświetleniem (szczegółowe informacje znajdziesz w CameraITS.pdf w CTS Verifier, który możesz pobrać na stronie Compatibility Test Suite Downloads). Scenę 5 musisz uruchomić oddzielnie (poza polem).

Aby uruchomić scenę 5 z przednim i tylnym aparatem na jednym urządzeniu:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Osiągaj wyniki

Podczas testowania możesz wyświetlać wyniki i zapisywać je w postaci raportu.

• Wyświetl wyniki. Aby zapisać wyniki ITS aparatu jako raport:
  1. Naciśnij Pass i zapisz zgłoszenie.
     
     Rysunek 3. Raport ITS o kamerze
  2. Pobieranie raportów z urządzenia:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Rozpakuj plik raportu i otwórz test_result.xml.
     
     Rysunek 4. Raporty ITS z kamer
     

Wymagania dotyczące tabletów

W przypadku Androida 15 i nowszych tablety używane do wyświetlania wykresu ITS muszą znajdować się na tej liście dozwolonych tabletów. Listę tabletów, które obsługują testowanie scen o słabym oświetleniu, znajdziesz w artykule Obsługiwane tablety do testowania scen o słabym oświetleniu. W przypadku Androida 14 lub starszego zapoznaj się z wymaganiami dotyczącymi tabletów z Androidem 14 lub starszym.

Tablety z listy dozwolonych są wybierane na podstawie tych kryteriów:

• Rozmiar wyświetlacza o przekątnej 30 cm i rozdzielczości większej niż 1920 x 1200 pikseli.
• Nie może występować żadne zmierzone migotanie spowodowane ściemnianiem ekranu za pomocą modulacji szerokości impulsu (PWM).
• Umożliwia wykonywanie poleceń adb wysyłanych przez testy ITS i wyświetlanie obrazów wykresów z ustawioną jasnością ekranu.

Wartość brightness musi być ustawiona w config.yml zgodnie z modelem tabletu. Aby sprawdzić, czy model Twojego tabletu odpowiada nazwie urządzenia na liście dozwolonych, wydrukuj wartość ro.product.device, wykonując polecenie adb shell getprop | grep 'ro.product.device' adb.

Tablety obsługiwane przy słabym oświetleniu

Wymagania dotyczące tabletów w Androidzie 14 i starszych

Tablety muszą mieć wyświetlacz o przekątnej około 10 cali i rozdzielczości większej niż 1920 x 1200 pikseli. Tablet nie może używać modulacji szerokości impulsu (PWM) do ustawiania poziomu jasności. Wartość brightness musi być ustawiona w config.yml zgodnie z modelem tabletu. Tabela poniżej zawiera listę zalecanych tabletów do testów ITS wraz z wersjami Androida dla DUT, z którymi współpracują.

Najczęstsze pytania

Pytanie 1. Jak określić, jakie stanowiska testowe są potrzebne do testowania mojego urządzenia?

Testy RFoV ITS-in-a-box w wersji 1 testują kamery RFoV w przypadku testów scen na tablecie w katalogu CameraITS/tests. Wartość częstotliwości radiowej jest określana jako 60° < FoV < 90°. W przypadku większych aparatów fotowoltaicznych światła mogą pojawiać się na obrazach, a wykresy mogą obejmować zbyt mały obszar, co wpływa na wyniki testu.

Wersja WFoV ITS w pakiecie 2 służy do testowania kamer WFoV pod kątem testów scen na tabletach w katalogu CameraITS/tests. WFoV jest zdefiniowany jako FoV >= 90°. Urządzenie testowe w wersji 2 jest funkcjonalnie identyczne z wersją 1, ale większe. Urządzenie testowe w wersji 2.0 umożliwia testowanie kamer RFoV i WFoV w Androidzie 9 i nowszych. Ze względu na większy rozmiar ekranu wersja 2 jest idealna, jeśli DUT to tablet,

Modułowa podstawa rig służy do testowania kamer WFoV w przypadku testów scen na tabletach w katalogu  CameraITS/tests. WFoV to kąt widzenia zdefiniowany jako FoV >= 90°. Modułowe podstawy mogą testować kamery z RFoV i WFoV na urządzeniach z Androidem 9 lub nowszym. Obsługuje też telekonwerter, który można podłączyć do teleobiektywu o dłuższej minimalnej odległości ostrości. Modułowe podstawy mają taką samą funkcjonalność jak rozwiązanie WFoV ITS-in-a-box, ale są mniejsze.

pole sensor fusion box testuje opóźnienie w wyświetlaniu obrazu w przypadku systemu z wieloma kamerami i synchronizację klatek z testami w scenes=sensor_fusion. Aby flaga funkcji REALTIME działała prawidłowo, opóźnienie w czasie działania aparatu i żyroskopu musi być mniejsze niż 1 ms.

Urządzenia z wieloma kamerami można testować za pomocą pojedynczego urządzenia do testów statycznych ITS oraz urządzenia do fuzji danych z czujników, jeśli kamera ma flagę funkcji REALTIME.

Przykładowe konfiguracje znajdziesz w tabeli poniżej.

Pytanie 2. Jak określić, który sprzęt testowy jest używany?

Aby wyznaczyć prawidłowy testowy układ, sprawdź, czy parametr odległości na wykresie jest prawidłowy. Platforma testowa w wersji 1 (RFoV) ma odległość od wykresu wynoszącą 31 cm, a platforma w wersji 2 (WFoV) – 22 cm. Domyślnie odległość na wykresie jest ustawiona na 31 cm.

Z Androida 10 na Androida 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 lub nowszy

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

Pytanie 3. Jak mogę kontrolować jasność tabletu?

Domyślnie jasność tabletu jest ustawiona na 96.

Aby zmienić jasność na tabletach z Androidem 7.0–9, wykonaj te czynności:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Aby zmienić jasność na tabletach z Androidem w wersji od 10 do 11, wartość można zmienić na linii poleceń, dodając flagę brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Aby zmienić jasność na tablecie z Androidem 12 lub nowszym, uruchom polecenie:

edit config.yml
brightness: 96 → brightness: 192

Pytanie 4. Jak debugować pojedynczy test?

Testy można uruchamiać pojedynczo w celu debugowania, ale ich wyniki nie są przesyłane do CtsVerifier.apk, chyba że uruchomiono całą scenę.

Aby uruchomić pojedynczą scenę w Androidzie 11 lub starszym:

1. Ładowanie sceny przez dodanie flagi scenes w tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Naciśnij Control+C, aby zatrzymać testy po zarejestrowaniu sceny jako załadowanej do stdout.

   Jeśli odpowiednia scena jest już na ekranie, obudź ekran:

   python tools/wake_up_screen.py screen=#
   

3. Uruchomić pojedynczy test.

   python tests/scene#/test_*.py device=# camera=#

   Następnie wykresy są generowane w katalogu lokalnym, a na ekranie wyświetlane są wartości stdout i stderr.

   Aby uzyskać więcej informacji do debugowania, dodaj do skryptu instrukcje print. Aby zwiększyć ilość danych wyjściowych testu na potrzeby debugowania, dodaj flagę debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

Po uruchomieniu tools/run_all_tests.py wyniki są drukowane na ekranie lokalnym, a obrazy są zapisywane w katalogu lokalnym zamiast w wygenerowanym katalogu /tmp/tmp###.

Aby uruchomić pojedynczą scenę w Androidzie 12 lub nowszym:

1. Edytuj plik config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Uruchom pojedynczy test.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Wyniki są drukowane w katalogu /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ posortowane według czasu wykonywania.

Pytanie 5. Dlaczego muszę uruchamiać nieudane testy jako całą scenę zamiast uruchamiać testy pojedynczo?

Testy można przeprowadzać pojedynczo do celów debugowania, ale ich wyniki nie są przesyłane do CtsVerifier.apk, chyba że zostanie uruchomiona cała scena.

ITS aparatu zapewnia, że aplikacje innych firm mają zgodny interfejs aparatu. Podobnie jak w przypadku testu jednostkowego, każdy test opiera się na jednej specyfikacji wyświetlanej w aparacie. Aby wykryć nieprawidłowe działanie, te testy powinny przejść w całości w przypadku całej sceny. Na przykład pojedynczy niewiarygodny test może przejść ponowne odtwarzanie całej sceny, ale trudno jest uzyskać pozytywny wynik w przypadku wielu niewiarygodnych testów.

W skrajnym przypadku może się zdarzyć, że w scenie jest 10 testów, z których każdy ma 50% prawdopodobieństwo zwrócenia wartości PASS. Jeśli testy są wykonywane osobno, istnieje duże prawdopodobieństwo, że operator może sprawić, że kamera przejdzie test ITS. Jeśli jednak testy są przeprowadzane zbiorczo jako scena, prawdopodobieństwo, że scena przejdzie, wynosi tylko 0,1%.

P6: Jak uruchomić jedną scenę lub zmienić kolejność scen biegu?

Domyślnie skrypt tools/run_all_tests.py uruchamia wszystkie sceny w kolejności. Sceny mogą jednak być uruchamiane pojedynczo lub w określonej kolejności i przekazywane do CtsVerifier.apk.

Aby uruchomić pojedynczą scenę (np. 2) lub kilka z nich w określonej kolejności na Androidzie 11 lub starszym:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Aby uruchomić pojedynczą scenę lub więcej niż 1 scentrynę w określonej kolejności w Androidzie 12 i nowszych:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Dodatkowe parametry są ustawiane w pliku config.yml.

Pytanie 7. Niektóre testy sceny 1 kończą się niepowodzeniem w przypadku konfiguracji tabletu, ale są zaliczane na kartce. Co robię źle?

Upewnij się, że tablet i środowisko testowe spełniają te specyfikacje.

Specyfikacje tabletu

Upewnij się, że tablet spełnia te specyfikacje:

• Rozmiar wyświetlacza (w calach): 10 cali
• Rozmiar wyświetlacza (piksele): więcej niż 1920 x 1200 pikseli

Więcej informacji znajdziesz w artykule Wymagania dotyczące tabletów.

Jasność tabletu

Wyniki testów mogą nie być prawidłowe, jeśli jasność wyświetlacza tabletu jest zbyt niska.

Więcej informacji znajdziesz w artykule Jak sterować jasnością tabletu?

Poziom oświetlenia pudełka (wymaga miernika luksów)

Upewnij się, że docelowy poziom luksów przy otwieraniu tabletu mieści się w przedziale od 100 do 300.

Jeśli poziom luksów jest zbyt wysoki, scene1/test_param_flash_mode.py zwraca FAIL. Jeśli poziom luksów jest zbyt niski, wiele testów nie powiedzie się.

Pytanie 8. Jak debugować testy fuzji danych z czujników?

1. Sprawdź, czy należysz do grupy dialout.

   groups | egrep ‘dialout'

2. Sprawdź, czy kontroler sensor fusion jest podłączony, sprawdzając, czy Microchip Technology jest podłączony do portu USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Uruchom test kilka razy, aby uzyskać rozkład prób testowych za pomocą tych poleceń.

   Na Androidzie 11 lub starszym:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   W Androidzie 12 i nowszych:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Dodatkowe parametry są ustawiane w pliku config.yml.

   Wyniki uruchomienia znajdują się w folderze /tmp/tmp### utworzonym w folderach sensor_fusion_#, gdzie # to numer uruchomienia. Typowe przyczyny niepowodzenia:

   1. Telefon nie jest prawidłowo wyśrodkowany.
   2. na obrazie nie znaleziono wystarczającej liczby cech (często jest to problem z polem widzenia lub oświetleniem);
   3. Zwrócona wartość FAIL jest prawidłowa, a opóźnienie między kamerą a żyroskopem musi zostać skorygowane.

Pytanie 9. Jakie informacje należy podać, zgłaszając błąd testowania?

Podczas zgłaszania błędu podczas testowania dołącz wygenerowane pliki i obrazy z testu.

1. Jeśli test został przeprowadzony za pomocą tools/run_all_tests.py, dołącz do błędu spakowany katalog /tmp/.
2. Jeśli test został wykonany samodzielnie, dołącz do zgłoszenia wszystkie zrzuty ekranu i wygenerowane obrazy.

Dołącz też raport o błędzie. Gdy dany test nie powiedzie się, wygeneruj raport o błędzie i dołącz do niego wygenerowany plik ZIP za pomocą tego polecenia.

adb -s device_id bugreport

Pytanie 10. Jak uruchomić scenę testową sensor_fusion z kamerą, która ma minimalną odległość ostrości, która powoduje rozmycie obrazu w odległości 25 cm od wykresu?

Jeśli aparat nie może ustawić ostrości w odległości 25 cm, usuń panel montażowy mapy z obudowy czujnika. Umieść wykres w odległości, w której urządzenie może się skupić, i zmień wartość chart_distance w funkcji config.yml na zmierzoną odległość między urządzeniem a wykresem. Ilustracja 5 pokazuje przykład pomiaru odległości na wykresie w tej sytuacji.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

Pytanie 11: jak przeprowadzić testy scen na tablecie w przypadku kamery, która ma minimalną odległość ostrości, ale tworzy niewyraźne obrazy w odległości 31 cm?

Jeśli Twój aparat nie może uzyskać wystarczająco ostrych obrazów podczas testowania w odległości 31 cm (głębokość platformy testowej RFoV), zamontuj aparat przed platformą w taki sposób, aby scena z tablicą wypełniała około 60% pola widzenia aparatu (FoV) z ostrzejszymi obrazami. Ta odległość może być mniejsza niż minimalna odległość ostrzenia kamery. Zostaw chart_distance w config.yml na poziomie 31 cm. Podziałka wykresu na tablecie jest określana przez pole widzenia kamery, jak pokazano w tabeli poniżej:

Pytanie 12. Które testy są przeprowadzane na poszczególnych kamerach w przypadku interfejsu API logicznej kamery?

Jeśli Twoja kamera używa REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, wszystkie obsługiwane testy ITS są przeprowadzane na najwyższym poziomie kamery logicznej. Podzbiór testów ITS jest przeprowadzany na fizycznych podkamerach. Te testy są wymienione w tools/run_all_tests.py pod symbolem SUB_CAMERA_TESTS.