Kamera ITS w pudełku

Zbiór testów obrazu z aplikacji aparatu (ITS) na Androida jest częścią weryfikatora pakietu Compatibility Test Suite (CTS) i zawiera testy weryfikujące zawartość obrazu. Narzędzie CTS Verifier umożliwia automatyzację testów ITS za pomocą ITS-in-a-box w przypadku kamery. Obsługa testów ręcznych obejmuje wszystkie formaty urządzeń z Androidem.

ITS-in-a-box zapewnia te korzyści:

• Automatyzacja Podczas testu nie jest wymagana interwencja człowieka.
• Łatwe rozwiązywanie problemów. Spójność środowiska testowego prowadzi do mniejszej liczby błędów konfiguracji i zwiększa powtarzalność.
• Skuteczność. Możliwość ponownego próbowania w przypadku pojedynczej kamery lub sceny poprawia wydajność testu.

Wybór rusztowania

ITS-in-a-box to plastikowe pudełko wycinane laserowo z rysunków CAD, tablet z wykresami oraz urządzenie testowe (DUT). W poniższej tabeli opisano funkcje i specyfikacje dostępnych systemów ITS-in-a-box. Aby wybrać odpowiednią platformę, weź pod uwagę pole widzenia i minimalną odległość ostrości urządzenia testowego. W przypadku systemów kamer o polu widzenia 60–110° i minimalnej odległości ogniskowej 22–31 cm zalecamy zastosowanie modułowej podstawy, która jest bardziej elastyczna. Jeśli system kamery zawiera teleobiektyw z minimalną odległością ostrości od 31 do 110 cm, zalecamy modułową podstawę z teleobiektywem, którego odległość ostrości jest zbliżona do odległości ostrości obiektywu. Teleskopowe przedłużenia są dostępne w długościach od 50 cm do 90 cm.

Rig	Odległość na wykresie	Zakres pola widzenia kamery DUT (ok.)	Funkcje
Moduł bazowy rigu	22 cm	60°–120°	Mniejszy ślad węglowy Duże wycięcie w przedniej części umożliwiające testowanie systemu z wieloma kamerami bez blokowania dodatkowych kamer. Urządzenie można obrócić o 90°
Moduł podstawy i teleskopowy wysięgnik	22 cm – 110 cm*	10°–120°	Duża przysłona z otworem z przodu Obsługuje kamery do testów, które mają dłuższą minimalną odległość ostrości (większość teleobiektywów) Długość wysięgnika można dostosować do różnych odległości na wykresie.
WFoV ITS-in-a-box	22 cm	60°–120°	Duża powierzchnia, która umożliwia wiele pozycji montażowych DUT Obsługa dużych DUT, takich jak tablety
RFoV ITS-in-a-box	31 cm	60°–90°	Tablet graficzny System oświetlenia wewnętrznego
Gen2 ITS-in-a-box	31 cm	60°–90°	Wykres na papierze System oświetlenia wewnętrznego

Odległość na wykresie	Procent skalowania sceny	Obraz
31 cm	33%
50 cm	O 50%
80 cm	100%

Aby rozpocząć korzystanie z ITS-in-a-box w przypadku kamery:

1. Kup lub zbuduj modułową, WFoV lub RFoV oraz sensor Fusion ITS-in-a-box.
2. Konfigurowanie tabletu za pomocą oprogramowania Camera ITS.
3. Przeprowadzanie testów
4. Zobacz wyniki z testu DUT.

Konfigurowanie tabletu

W tej sekcji znajdziesz szczegółowe instrukcje konfigurowania tabletu do korzystania z  testów ITS aparatu znajdujących się w katalogu CameraITS. W tych instrukcjach jako przykładowy tablet użyto urządzenia Pixel C. Informacje o wymaganiach i zaleceniach dotyczących tabletów znajdziesz w artykule Wymagania dotyczące tabletów.

Uwaga: skrypty Pythona Camera ITS automatycznie ustawiają na tablecie te opcje:
Ustawienia > Wyświetlacz > Uśpij > Po 30 minutach braku aktywności
Automatyczna jasność > WYŁĄCZONY

1. Naładuj tablet i go włącz. Jeśli pojawi się prośba o skonfigurowanie konta, ją pomiń (ITS kamery nie wymaga parowania z żadnym kontem na tablecie).
2. Zaktualizuj tablet do Androida 7.0 lub nowszego. Android 6.x i starsze nie obsługują ITS kamery.
3. Włącz tryb programisty.
4. Wróć do Ustawień i wybierz Opcje programisty.

   Włączanie opcji	Wł. Pozostaw włączony ekran Debugowanie przez USB (umożliwia hostowi uruchamianie tabletu w trybie debugowania). Gdy po raz pierwszy połączysz tablet z hostem, pojawi się pytanie Zezwolić na debugowanie przez USB? Jeśli tablet nie wyświetla prośby o debugowanie, odłącz go, a następnie ponownie podłącz.
   Wyłączanie opcji	Automatyczne aktualizacje systemu Zweryfikuj aplikacje przez USB

5. Aby określić identyfikatory DUT i wykresów, uruchom polecenie $ adb devices, aby wyświetlić listę dostępnych urządzeń. Aby określić, które z nich to device_id, a które chart_id, podłącz i odłącz urządzenia, obserwując, które z nich łączą się i rozłączają.
6. Przeprowadź 3 testy, aby wyeliminować podpowiedzi i komunikaty, które mogą zasłaniać wykresy na ekranie tabletu.
   1. Umieść tablet ekranem do góry na stole (nie przyczepiaj go do tylnej części pudełka).
   2. Uruchom to polecenie:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Sceny 2 i 3 wymagają wyświetlenia obrazu na tablecie, dlatego tablet wyświetla komunikat Czy chcesz zezwolić Dyskowi na dostęp do zdjęć, multimediów i plików na urządzeniu?. Aby usunąć ten prompt (i zapobiec wyświetlaniu kolejnych), naciśnij Zezwól.
   3. Uruchom ponownie polecenie. Na tablecie pojawi się pytanie Czy chcesz zachować kopię tego pliku? i propozycja zapisania pliku na Dysku Google. Aby usunąć to powiadomienie (i zapobiec wyświetlaniu kolejnych), kliknij ikonę Dysku, a następnie Anuluj, aby przesłać plik na Dysk.
   4. Na koniec uruchom tools/run_all_tests.py i sprawdź, czy sceny zmieniają się automatycznie, gdy skrypt przechodzi przez różne sceny. Większość testów kończy się niepowodzeniem (ponieważ kamera nie jest skierowana na wykres), ale możesz sprawdzić, czy tablet prawidłowo przełącza się między scenami bez wyświetlania żadnych promptów ani innych wyskakujących okienek.

Przeprowadzanie testów

Zanim uruchomisz ITS-in-a-box, upewnij się, że konfiguracja testu zawiera następujący sprzęt i oprogramowanie:

• 1 urządzenie ITS-in-a-box
• 1 (jeden) tablet o wysokiej rozdzielczości 10 cali do wyświetlania scen, numer seryjny: 5811000011
• 1 urządzenie DUT z zainstalowaną aplikacją CTS Verifier w wersji 7.0_8 lub nowszej. Przykład DUT:
  • 1 urządzenie Pixel NOF26W do testowania tylnego aparatu (0), numer seryjny FA6BM0305016. Aby zainstalować aplikację CTS Verifier, rozpakuj plik android-cts-verifier.zip, a następnie uruchom

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Uruchamianie scen na tabletach

Aby uruchomić sceny 0–4, 6 i scene_change na tylnym aparacie:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Przykład:

Ponowne uruchamianie scen

Możesz ponownie wykonać sceny dla jednej kamery:

• Aby ponownie przetworzyć sceny na jednej kamerze:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Uruchom scenę 5

Scena 5 wymaga specjalnej konfiguracji z określonym oświetleniem (szczegółowe informacje znajdziesz w CameraITS.pdf w CTS Verifier, który możesz pobrać na stronie Compatibility Test Suite Downloads). Scena 5 musi być uruchomiona osobno (poza programem).

Aby uruchomić scenę 5 z przednim i tylnym aparatem na jednym urządzeniu:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Wyniki

Podczas testowania możesz wyświetlać wyniki i zapisywać je w postaci raportu.

• Wyświetl wyniki. Aby zapisać wyniki ITS w aparacie jako raport:
  1. Naciśnij Przejdź dalej i zapisz raport.
     
     Rysunek 3. Raport ITS o kamerze
  2. Pobieranie raportów z urządzenia:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Rozpakuj plik raportu i otwórz test_result.xml.
     
     Rysunek 4. Raporty ITS z kamer
     

Wymagania dotyczące tabletu

W przypadku Androida 15 i nowszych tablety używane do wyświetlania wykresu ITS muszą znajdować się na tej liście dozwolonych tabletów. Listę tabletów, które obsługują testowanie scen o słabym oświetleniu, znajdziesz w artykule Obsługiwane tablety do testowania scen o słabym oświetleniu. W przypadku Androida 14 lub starszego zapoznaj się z wymaganiami dotyczącymi tabletów z Androidem 14 lub starszym.

Tablety na liście dozwolonych są wybierane na podstawie tych kryteriów:

• Ekran o przekątnej około 10 cali i rozdzielczości większej niż 1920 x 1200 pikseli.
• Nie może występować żadne zmierzone migotanie spowodowane ściemnianiem ekranu sterowanym przez modulację szerokości impulsu (PWM).
• Umożliwia wykonywanie poleceń adb wysyłanych przez testy ITS oraz wyświetlanie obrazów wykresów z wyświetlaczem o określonej jasności ekranu.

Wartość brightness musi być ustawiona w config.yml zgodnie z modelem tabletu. Aby sprawdzić, czy model Twojego tabletu odpowiada nazwie urządzenia na liście dozwolonych, wydrukuj wartość ro.product.device, uruchamiając polecenie adb shell getprop | grep 'ro.product.device' adb.

Obsługiwane tablety do scen o słabym oświetleniu

Wymagania dotyczące tabletów w Androidzie 14 i starszych

Tablety muszą mieć wyświetlacz o przekątnej około 10 cali i rozdzielczości większej niż 1920 x 1200 pikseli. Tablet nie może używać modulacji szerokości impulsu (PWM) do ustawiania poziomu jasności. Wartość brightness musi być ustawiona w config.yml zgodnie z modelem tabletu. Tabela poniżej zawiera listę zalecanych tabletów do testowania ITS wraz z wersjami Androida dla urządzeń DUT, z którymi współpracują te tablety.

Najczęstsze pytania

Pytanie 1. Jak określić, jakie stanowiska testowe są potrzebne do testowania mojego urządzenia?

RFoV ITS-in-a-box w wersji 1 testuje kamery RFoV w przypadku testów scen na tablecie w katalogu CameraITS/tests. RFoV to 60° < FoV < 90°. W przypadku kamer o większym FoV światła mogą pojawiać się na zdjęciach lub wykresy mogą obejmować zbyt mały obszar w FoV, co może wpływać na wyniki testu.

WFoV ITS-in-a-box w wersji 2 testuje kamery WFoV w przypadku testów scen na tablecie w katalogu CameraITS/tests. WFoV jest zdefiniowany jako FoV >= 90°. Urządzenie testowe w wersji 2 jest funkcjonalnie identyczne z wersją 1, ale większe. Urządzenie testowe w wersji 2.0 umożliwia testowanie kamer RFoV i WFoV w Androidzie 9 lub nowszym. Ze względu na większy ślad wersja 2 jest idealna, jeśli DUT to tablet

Modułowa podstawa rig służy do testowania kamer WFoV w przypadku testów scen na tabletach w katalogu  CameraITS/tests. WFoV to pole widzenia >= 90°. Modułowe podstawy mogą testować kamery RFoV i WFoV na urządzeniach z Androidem 9 lub nowszym. Obsługuje też urządzenie do testowania kamer tele, które można podłączyć do kamer tele z dłuższą minimalną odległość ostrości. Modułowe podstawy mają takie same funkcje jak rozwiązanie WFoV ITS-in-a-box, ale są mniejsze.

pole sensor fusion box umożliwia testowanie opóźnienia w wyświetlaniu obrazu w przypadku systemu z wieloma kamerami i synchronizacji klatek (testy w scenes=sensor_fusion). Aby flaga funkcji REALTIME działała prawidłowo, przesunięcie czasu działania aparatu i żyroskopu musi być mniejsze niż 1 ms.

Urządzenia z wieloma kamerami można testować za pomocą pojedynczego urządzenia do testów statycznych ITS oraz urządzenia do fuzji danych z czujników, jeśli kamera ma flagę funkcji REALTIME.

Przykładowe konfiguracje znajdziesz w tabeli poniżej.

Pytanie 2. Jak określić, który testowany sprzęt jest używany?

Aby wyznaczyć prawidłowy testowy układ, sprawdź, czy parametr odległości na wykresie jest prawidłowy. Platforma testowa w wersji 1 (RFoV) ma odległość od wykresu wynoszącą 31 cm, a platforma w wersji 2 (WFoV) – 22 cm. Domyślna odległość od wykresu to 31 cm.

Z Androida 10 na Androida 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 lub nowszy

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

Pytanie 3. Jak mogę kontrolować jasność tabletu?

Domyślnie jasność tabletu jest ustawiona na 96.

Aby zmienić jasność na tabletach z Androidem 7.0–9, wykonaj te czynności:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Aby zmienić jasność na tabletach z Androidem w wersji 10–11, wartość można zmienić na linii poleceń, dodając flagę brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Aby zmienić jasność na tabletach z Androidem 12 lub nowszym:

edit config.yml
brightness: 96 → brightness: 192

Pytanie 4. Jak debugować pojedynczy test?

Testy można uruchamiać pojedynczo w celu debugowania, ale ich wyniki nie są przesyłane do CtsVerifier.apk, chyba że uruchomiono całą scenę.

Aby uruchomić pojedynczą scenę na Androidzie 11 lub starszym:

1. Załaduj scenę, dodając flagę scenes w polu tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Naciśnij Control+C, aby zatrzymać testy po zarejestrowaniu sceny jako załadowanej do stdout.

   Jeśli odpowiednia scena jest już na ekranie, obudź ekran:

   python tools/wake_up_screen.py screen=#
   

3. Uruchomić pojedynczy test.

   python tests/scene#/test_*.py device=# camera=#

   Następnie wykresy są generowane w katalogu lokalnym, a funkcje stdout i stderr są wyświetlane na ekranie.

   Aby uzyskać więcej informacji do debugowania, dodaj do skryptu instrukcje print. Aby zwiększyć ilość danych wyjściowych testu na potrzeby debugowania, dodaj flagę debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

Podczas uruchamiania tools/run_all_tests.py wyniki są drukowane na lokalnym ekranie, a obrazy są zapisywane w lokalnym katalogu zamiast w wygenerowanym katalogu /tmp/tmp###.

Aby uruchomić pojedynczą scenę na Androidzie 12 lub nowszym:

1. Edytuj plik config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Uruchom pojedynczy test.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Wyniki są drukowane w katalogu /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ posortowane według czasu wykonywania.

Pytanie 5. Dlaczego muszę uruchamiać nieudane testy jako całą scenę zamiast uruchamiać testy pojedynczo?

Testy można uruchamiać pojedynczo na potrzeby debugowania, ale wyniki nie są raportowane do CtsVerifier.apk, chyba że uruchomiono całą scenę.

ITS aparatu zapewnia, że aplikacje innych firm mają zgodny interfejs aparatu. Podobnie jak w przypadku testu jednostkowego, każdy test sprawdza pojedynczą specyfikację kamery. Aby wykryć nieprawidłowe działanie, te testy powinny przejść w całości w przypadku całej sceny. Na przykład pojedynczy niewiarygodny test może przejść ponowne uruchomienie całej sceny, ale trudno jest uzyskać pozytywny wynik w przypadku wielu niewiarygodnych testów.

W skrajnym przypadku może się zdarzyć, że w scenie jest 10 testów, z których każdy ma 50% prawdopodobieństwo zwrócenia wartości PASS. Jeśli testy są przeprowadzane osobno, istnieje duże prawdopodobieństwo, że operator może sprawić, że kamera przejdzie test ITS. Jeśli jednak testy są przeprowadzane zbiorczo jako scena, prawdopodobieństwo, że scena przejdzie, wynosi tylko 0,1%.

Pytanie 6. Jak mogę uruchomić pojedynczą scenę lub zmienić kolejność scen?

Domyślnie skrypt tools/run_all_tests.py uruchamia wszystkie sceny w kolejności. Sceny można jednak uruchamiać pojedynczo lub w określonej kolejności i przekazywać do CtsVerifier.apk.

Aby uruchomić pojedynczą scenę (np. scenę 2) lub kilka scen w określonej kolejności w Androidzie 11 lub nowszym:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Aby uruchomić pojedynczą scenę lub kilka scen w określonej kolejności w Androidzie 12 lub nowszym:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Dodatkowe parametry są ustawiane w pliku config.yml.

Pytanie 7. Niektóre testy sceny 1 kończą się niepowodzeniem w przypadku konfiguracji tabletu, ale są zaliczane na kartce. Co robię źle?

Upewnij się, że tablet i środowisko testowe spełniają te specyfikacje.

Specyfikacje tabletu

Upewnij się, że tablet spełnia te specyfikacje:

• Rozmiar wyświetlacza (w calach): 10 cali
• Rozmiar wyświetlacza (piksele): więcej niż 1920 x 1200 pikseli

Więcej informacji znajdziesz w artykule Wymagania dotyczące tabletów.

Jasność tabletu

Jeśli jasność ekranu tabletu jest zbyt niska, testy mogą nie przynieść prawidłowych wyników.

Więcej informacji znajdziesz w artykule Jak zarządzać jasnością tabletu?.

Poziom oświetlenia pudełka (wymaga miernika luksów)

Upewnij się, że docelowa wartość luksa podczas otwierania tabletu mieści się w zakresie od 100 do 300.

Jeśli poziom luksów jest za wysoki, funkcja scene1/test_param_flash_mode.pyzwraca FAIL. Jeśli poziom luksów jest zbyt niski, wiele testów nie powiedzie się.

Pytanie 8. Jak debugować testy fuzji danych z czujników?

1. Sprawdź, czy należysz do grupy dialout.

   groups | egrep ‘dialout'

2. Sprawdź, czy kontroler sensor fusion jest podłączony, sprawdzając, czy Microchip Technology jest podłączony do portu USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Uruchom test kilka razy, aby uzyskać rozkład prób testowych za pomocą tych poleceń.

   Na Androidzie 11 lub starszym:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   Na Androidzie 12 i nowszych:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Dodatkowe parametry są ustawiane w pliku config.yml.

   Dane wyjściowe procesu znajdują się w folderze /tmp/tmp### utworzonym w folderach sensor_fusion_#, gdzie # to numer procesu. Typowe przyczyny niepowodzenia:

   1. Telefon nie jest wyśrodkowany.
   2. na obrazie nie znaleziono wystarczającej liczby cech (często jest to problem z polem widzenia lub oświetleniem);
   3. Zwrócona wartość FAIL jest prawidłowa, a opóźnienie między kamerą a żyroskopem musi zostać skorygowane.

Pytanie 9. Jakie informacje należy podać, zgłaszając błąd testowania?

Podczas zgłaszania błędu podczas testowania dołącz wygenerowane pliki i obrazy z testu.

1. Jeśli test został przeprowadzony za pomocą tools/run_all_tests.py, dołącz do błędu spakowany katalog /tmp/.
2. Jeśli test został przeprowadzony samodzielnie, dołącz do zgłoszenia wszystkie zrzuty ekranu i wygenerowane obrazy.

Dołącz też raport o błędzie. Po niepowodzeniu testu utwórz raport o błędzie, używając tego polecenia, i dołącz wygenerowany plik ZIP do błędu.

adb -s device_id bugreport

Pytanie 10. Jak uruchomić scenę testową sensor_fusion z kamerą, która ma minimalną odległość ostrości, która powoduje rozmycie obrazu w odległości 25 cm od wykresu?

Jeśli aparat nie może ustawić ostrości w odległości 25 cm, usuń panel montażowy mapy z modułu sensora fuzji. Umieść wykres w odległości, w której urządzenie może się skupić, i zmień wartość chart_distance w funkcji config.yml na zmierzoną odległość między urządzeniem a wykresem. Rysunek 5 przedstawia przykład pomiaru odległości na wykresie w tej sytuacji.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

Pytanie 11: jak przeprowadzić testy scen na tablecie w przypadku kamery, która ma minimalną odległość ostrości, ale tworzy niewyraźne obrazy w odległości 31 cm?

Jeśli Twój aparat nie może uzyskać wystarczająco ostrych obrazów podczas testowania w odległości 31 cm (głębokość testowego urządzenia RFoV), zamontuj aparat przed urządzeniem w taki sposób, aby scena z tablicą wypełniała około 60% pola widzenia aparatu (FoV) ostrzejszymi obrazami. Ta odległość może być mniejsza niż minimalna odległość ostrości kamery. Pozostaw chart_distance w config.yml na wysokości 31 cm. Podziałka wykresu na tablecie jest określana przez pole widzenia kamery, jak pokazano w tabeli poniżej:

Pytanie 12. Które testy są przeprowadzane na poszczególnych kamerach w przypadku interfejsu API logicznej kamery?

Jeśli Twoja kamera używa REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, wszystkie obsługiwane testy ITS są przeprowadzane na najwyższym poziomie kamery logicznej. Podzbiór testów ITS jest przeprowadzany na fizycznych podkamerach. Te testy są wymienione w tools/run_all_tests.py pod symbolem SUB_CAMERA_TESTS.