Videocamera ITS in una scatola

Android Camera Image Test Suite (ITS) fa parte di Android Compatibility Test Suite (CTS) Verifier e include test che verificano i contenuti delle immagini. CTS Verifier supporta l'automazione dei test ITS con la videocamera ITS-in-a-box. Il supporto per i test manuali copre tutti i fattori di forma dei dispositivi Android.

ITS-in-a-box offre i seguenti vantaggi:

• Automazione. Non è necessario alcun intervento umano.
• Risoluzione dei problemi semplificata. La coerenza dell'ambiente di test porta a un minor numero di errori di configurazione e aumenta la riproducibilità.
• Efficienza. La possibilità di riprovare per una singola videocamera/scena migliora l'efficienza di esecuzione del test.

Inizia

L'ITS in a-box è costituito da una scatola di plastica tagliata al laser da disegni di progettazione assistita al computer (CAD), una tavoletta grafico e un dispositivo sottoposto a test (DUT). La tabella seguente descrive le funzionalità e le specifiche dei diversi impianti ITS-in-a-box disponibili.

Per iniziare a utilizzare la videocamera ITS-in-a-box:

1. Acquista o crea un sistema ITS-in-a-box modulare, WFoV o RFoV.
2. Configura un tablet con il software della fotocamera ITS.
3. Esegui test.
4. Ottieni i risultati dal DUT.

Configura il tablet

Questa sezione fornisce istruzioni dettagliate per configurare un tablet da utilizzare con i test ITS della videocamera nella directory CameraITS. In queste istruzioni viene usato Pixel C come tablet di esempio. Per informazioni sui requisiti e sui consigli per i tablet, consulta Requisiti per i tablet.

Nota: gli script Python ITS della fotocamera impostano automaticamente sul tablet le seguenti opzioni:
Impostazioni > Display > Sospensione > Dopo 30 minuti di inattività
Luminosità adattiva > OFF

1. Ricarica il tablet e accendilo. Se ti viene chiesto di configurare un account, salta questo passaggio (il sistema ITS della videocamera non richiede alcun account accoppiato al tablet).
2. Aggiorna il tablet ad Android 7.0 o versioni successive. Android 6.x e versioni precedenti non supportano ITS della fotocamera.
3. Attiva la modalità sviluppatore.
4. Torna a Impostazioni e seleziona Opzioni sviluppatore.

   Attivare le opzioni	On Rimani attivo Debug USB (questa opzione consente all'host di eseguire il tablet in modalità di debug. Quando colleghi il tablet all'host per la prima volta, viene visualizzato il messaggio Consenti il debug USB? Se sul tablet non viene visualizzata la richiesta di debug, scollegalo e ricollegalo.
   Disattivare le opzioni	Aggiornamenti di sistema automatici Verifica app tramite USB

5. Determina gli ID DUT e dei grafici eseguendo $ adb devices per elencare i dispositivi disponibili. Per determinare device_id e chart_id, collega e scollega i dispositivi e osserva quelli che si connettono e scollegano.
6. Esegui tre prove per eliminare i suggerimenti e le richieste all'utente che possono oscurare i grafici sullo schermo del tablet.
   1. Posiziona il tablet rivolto verso l'alto su un tavolo (non fissarlo al pannello posteriore della confezione).
   2. Esegui il seguente comando:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Le scene 2 e 3 richiedono che il tablet mostri un'immagine, quindi il tablet chiede: Consenti a Drive di accedere a foto, contenuti multimediali e file sul dispositivo?. Elimina questo prompt (e impedisci la visualizzazione di prompt futuri) premendo Consenti.
   3. Esegui di nuovo il comando. Sul tablet viene visualizzato il messaggio Vuoi conservare una copia di questo file? e viene suggerito Google Drive. Per cancellare questa richiesta (e impedire richieste future), premere l'icona di Drive, quindi Annulla per il caricamento su Drive.
   4. Infine, esegui tools/run_all_tests.py e verifica che le scene variino automaticamente man mano che lo script passa da una scena all'altra. Anche se la maggior parte dei test ha esito negativo (poiché la fotocamera non è rivolta verso il grafico), puoi verificare che il tablet passi correttamente da una scena all'altra senza visualizzare prompt o altri popup sullo schermo.

Esegui test

Prima di eseguire l'ITS-in-a-box, assicurati che la configurazione del test includa il seguente hardware e software:

• Un (1) ITS in una confezione
• Un (1) tablet da 10" ad alta risoluzione per la visualizzazione delle scene, N. di serie: 5811000011
• Un (1) DUT su cui è installata l'app CTS Verifier 7.0_8 o versioni successive. Esempio di DUT:
  • Un (1) Pixel NOF26W per i test della fotocamera posteriore(0), S/N: FA6BM0305016. Per installare l'app CTS Verifier, decomprimere android-cts-verifier.zip e poi eseguire

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Eseguire scene basate su tablet

Per eseguire le scene da 0 a 4, 6 e scene_change sulla fotocamera posteriore:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Esempio:

Riprovare le scene

Puoi riprovare le scene per una singola videocamera:

• Per riprovare le scene su una singola videocamera:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Esegui scena 5

La scena 5 richiede una configurazione speciale con illuminazione specifica (per maggiori dettagli, consulta CameraITS.pdf in CTS Verifier, che puoi scaricare da Download di Compatibility Test Suite). Devi eseguire la scena 5 separatamente (al di fuori della casella).

Per eseguire la scena 5 per le fotocamere anteriore e posteriore su un singolo dispositivo:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Visualizzare i risultati

Puoi visualizzare i risultati durante i test e salvare i risultati completati come report.

• Visualizza i risultati. Per salvare i risultati ITS della fotocamera come report:
  1. Premi Passa e salva il report.
     
     Figura 3. Report ITS della fotocamera
  2. Estrarre i report dal dispositivo:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Decomprimi il file del report e visualizza test_result.xml.
     
     Figura 4. Report ITS della videocamera
     

Requisiti del tablet

Per Android 15 e versioni successive, i tablet utilizzati come visualizzazione dei grafici ITS devono essere inclusi nella seguente lista consentita di tablet. Per un elenco dei tablet che supportano i test per le scene in condizioni di scarsa illuminazione, consulta Tablet supportati per le scene in condizioni di scarsa illuminazione. Per Android 14 o versioni precedenti, consulta Requisiti del tablet per Android 14 e versioni precedenti.

I tablet nella lista consentita vengono scelti in base ai seguenti criteri:

• Dimensioni del display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel.
• Non deve essere presente alcun sfarfallio misurato causato dalla modulazione di larghezza dell'impulso (PWM) controllata per la dimmerizzazione dello schermo.
• In grado di eseguire i comandi adb inviati dai test ITS e di visualizzare le immagini dei grafici con la luminosità dello schermo impostata.

Il valore brightness deve essere impostato in config.yml in base al modello del tablet. Per determinare se il modello del tablet corrisponde a un nome del dispositivo nella lista consentita, stampa il valore ro.product.device eseguendo il comando adb shell getprop | grep 'ro.product.device' adb.

Tablet supportati per scene in condizioni di scarsa illuminazione

Requisiti dei tablet per Android 14 e versioni precedenti

I tablet devono avere un display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel. Il tablet non deve utilizzare la modulazione della larghezza dell'impulso (PWM) per impostare il livello di luminosità. Il valore brightness deve essere impostato in config.yml in base al modello del tablet. La tabella seguente elenca i tablet consigliati per i test ITS, nonché le versioni di release di Android per il DUT con cui i tablet sono compatibili.

Domande frequenti

D1. Come faccio a stabilire quali piattaforme di prova sono necessarie per il mio dispositivo?

La versione 1 RFOV ITS-in-a-box testa le videocamere RFoV per i test delle scene del tablet nella directory CameraITS/tests. L'angolo di campo relativo è definito come 60° < FoV < 90°. Per le videocamere con un campo visivo più ampio, le luci potrebbero apparire nelle immagini o i grafici potrebbero coprire un'area troppo piccola nel campo visivo, influenzando i risultati del test.

La revisione 2 del kit ITS-in-a-box con campo visivo a 120 gradi testa le videocamere con campo visivo a 120 gradi per i test delle scene con tablet nella directory CameraITS/tests. L'angolo di campo a campo ampio è definito come FoV >= 90°. Il banco di prova della revisione 2 è funzionalmente identico a quello della revisione 1, ma è più grande. La versione 2 della piattaforma di test può testare sia le fotocamere RFoV sia quelle WFoV su Android 9 e versioni successive. Data la maggiore impronta, la revisione 2 è ideale se il DUT è un tablet

Il supporto di base modulare testa le videocamere con campo visivo a 120 gradi per i test delle scene con tablet nella directory CameraITS/tests. Il campo visivo grandangolare è definito come FoV >= 90°. La base modulare può testare sia le fotocamere con campo visivo stretto che quelle con campo visivo grandangolare per i dispositivi con Android 9 e versioni successive. Supporta anche il supporto di estensione tele che può essere collegato alle videocamere tele per test con una distanza minima di messa a fuoco più lunga. La base modulare è funzionalmente identica al sistema ITS-in-a-box con campo visivo a 120 gradi, ma è più piccola.

La fusione del sensore verifica l'offset di temporizzazione della fotocamera/il giroscopio e la sincronizzazione dei fotogrammi dei sistemi multicamera con test in scenes=sensor_fusion. Per il flag funzionalità REALTIME è necessario un offset di temporizzazione della fotocamera/del giroscopio inferiore a 1 ms.

I dispositivi multicamera possono essere testati con un singolo dispositivo per i test ITS statici e un dispositivo di fusione del sensore se la videocamera presenta il flag funzionalità REALTIME.

Nella tabella seguente è riportato un insieme di configurazioni di esempio.

D2: Come faccio a indicare quale test rig è in uso?

Per designare il banco di prova corretto, assicurati che il parametro di distanza del grafico sia corretto. La piattaforma di test rev1 (RFoV) ha una distanza del grafico di 31 cm, mentre la piattaforma rev2 (WFoV) ha una distanza del grafico di 22 cm. Per impostazione predefinita, la distanza del grafico è impostata su 31 cm.

Da Android 10 ad Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 e versioni successive

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

D3: Come faccio a regolare la luminosità del tablet?

Per impostazione predefinita, la luminosità del tablet è impostata su 96.

Per modificare la luminosità sui tablet con Android 7.0 e versioni successive, esegui:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Per modificare la luminosità sui tablet con Android 10-11, il valore può essere modificato nella riga di comando aggiungendo il flag brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Per modificare la luminosità sui tablet con Android 12 e versioni successive, esegui:

edit config.yml
brightness: 96 → brightness: 192

D4: Come faccio a eseguire il debug di un singolo test?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono segnalati a CtsVerifier.apk, a meno che non venga eseguita l'intera scena.

Per eseguire una singola scena su Android 11 e versioni precedenti:

1. Carica una scena aggiungendo il flag scenes in tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Premi Ctrl+C per interrompere i test dopo che la scena è stata registrata come caricata su stdout.

   Se sullo schermo è già presente la scena corretta, riattiva lo schermo:

   python tools/wake_up_screen.py screen=#
   

3. Esegui un singolo test.

   python tests/scene#/test_*.py device=# camera=#

   I grafici vengono quindi generati nella directory locale e stdout e stderr vengono stampati sullo schermo.

   Per ulteriori informazioni per il debug, aggiungi istruzioni print allo script. Per aumentare l'output del test per il debug, aggiungi il flag debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

I risultati vengono stampati sulla schermata locale e le immagini vengono salvate nella directory locale anziché nella directory /tmp/tmp### generata quando si esegue tools/run_all_tests.py.

Per eseguire una singola scena in Android 12 e versioni successive:

1. Modifica il file config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Esegui il singolo test.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

I risultati vengono stampati nella directory /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ ordinati in base al tempo di esecuzione.

D5: Perché devo eseguire i test non riusciti come un'intera scena anziché eseguire nuovamente i test singolarmente?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono segnalati a CtsVerifier.apk a meno che non venga eseguita l'intera scena.

L'ITS della fotocamera garantisce che le app di terze parti abbiano un'interfaccia della fotocamera compatibile. Come un test di unità, ogni test mette in evidenza una singola specifica della videocamera. Per individuare comportamenti inaffidabili, questi test devono essere superati in gruppo per un'intera scena. Ad esempio, anche se un singolo test inaffidabile può superare una replica di un'intera scena, è difficile superare più test non affidabili.

Come esempio estremo, prendiamo il caso in cui in una scena siano presenti 10 test ciascuno con una probabilità del 50% di restituire PASS. Eseguendo ogni test singolarmente, c'è un'alta probabilità che un operatore riesca a far passare la videocamera all'ITS della videocamera. Tuttavia, se i test vengono eseguiti in modo aggregato come una scena, esiste solo lo 0,1% di probabilità che la scena venga superata.

D6: Come faccio a eseguire una singola scena o a riordinare le scene di esecuzione?

Per impostazione predefinita, lo script tools/run_all_tests.py esegue tutte le scene in ordine. Tuttavia, le scene possono essere eseguite singolarmente o in un ordine specifico e segnalate a CtsVerifier.apk.

Per eseguire una singola scena (ad esempio la scena 2) o più scene in un ordine specifico su Android 11 o versioni precedenti:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Per eseguire una singola scena o più scene in un ordine specifico su Android 12 e versioni successive:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

I parametri aggiuntivi sono impostati nel file config.yml.

D7. Alcuni test della scena 1 non vanno a buon fine con la configurazione del tablet, ma vengono superati con un grafico cartaceo. Qual è il problema?

Assicurati che il tablet e l'ambiente di test soddisfino le seguenti specifiche.

Specifiche dei tablet

Assicurati che il tablet soddisfi le seguenti specifiche:

• Dimensioni del display (pollici): 10 pollici
• Dimensioni del display (pixel): superiori a 1920 x 1200 pixel

Per maggiori dettagli, consulta Requisiti per i tablet.

Luminosità del tablet

I test potrebbero non ottenere risultati corretti se la luminosità del display del tablet è troppo bassa.

Per maggiori dettagli, vedi Come faccio a regolare la luminosità del tablet?

Livello di illuminazione della scatola (richiede luxmetro)

Assicurati che il valore lux target all'apertura del tablet sia compreso tra 100 e 300.

Se il livello di lux è troppo alto, scene1/test_param_flash_mode.py restituisce FAIL. Se il livello di lux è troppo basso, più test non riescono.

D8: Come faccio a eseguire il debug dei test di fusione dei sensori?

1. Assicurati di far parte di un gruppo dialout.

   groups | egrep ‘dialout'

2. Assicurati che il controller di fusione dei sensori sia collegato verificando se la tecnologia Microchip è collegata alla porta USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Esegui il test più volte per ottenere una distribuzione dei tentativi di test con i seguenti comandi.

   In Android 11 o versioni precedenti:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   In Android 12 e versioni successive:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   I parametri aggiuntivi sono impostati nel file config.yml.

   Gli output di esecuzione si trovano nella cartella /tmp/tmp### creata nelle cartelle sensor_fusion_#, dove # è il numero di esecuzione. Le cause più comuni di errore sono:

   1. Lo smartphone non è centrato correttamente.
   2. Nell'immagine non sono state trovate caratteristiche sufficienti (spesso un problema di FoV o illuminazione).
   3. Il valore FAIL restituito è valido e l'offset di tempo tra la fotocamera e il giroscopio deve essere corretto.

D9: Quali informazioni devo includere quando segnalo un bug di test?

Quando segnali un bug di test, includi i file e le immagini generati per il test.

1. Se hai eseguito il test tramite tools/run_all_tests.py, allega una directory /tmp/ compressa al bug.
2. Se hai eseguito il test da solo, allega al bug tutte le uscite dello schermo e le immagini generate.

Includi anche una segnalazione di bug. Dopo che il test in questione non è riuscito, utilizza il seguente comando per generare una segnalazione di bug e allega il file ZIP generato al bug.

adb -s device_id bugreport

D10: Come faccio a eseguire una scena di test sensor_fusion con una fotocamera con una distanza minima di messa a fuoco che crea immagini sfocate a una distanza della scheda di 25 cm?

Se la fotocamera non può mettere a fuoco a una distanza di 25 cm, rimuovi il pannello di montaggio del grafico della Fusion box del sensore. Posiziona il grafico a una distanza in cui il DUT può mettere a fuoco e modifica chart_distance in config.yml in base alla distanza misurata tra il DUT e il grafico. La figura 5 mostra un esempio di come misurare la distanza del grafico in questa situazione.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

D11: Come faccio a eseguire scene di test del tablet per una fotocamera con una distanza minima di messa a fuoco che crea immagini sfocate a una distanza della scheda di 31 cm?

Se la fotocamera non riesce a produrre immagini sufficientemente nitide a una distanza di 31 cm (la profondità del banco di prova RFoV), montala davanti al banco a una distanza tale che la scena della scheda riempia circa il 60% del campo visivo (FoV) della fotocamera con immagini più nitide. Questa distanza può essere inferiore alla distanza minima di messa a fuoco della videocamera. Lascia il chart_distance in config.yml a 31 cm. La scala del grafico sul tablet è determinata dal FOV della fotocamera, come mostrato nella seguente tabella:

D12: Con l'API multi-videocamera logica, quali test vengono eseguiti su quali videocamere?

Se la videocamera utilizza REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, tutti i test ITS supportati vengono eseguiti sulla videocamera logica di primo livello. Un sottoinsieme dei test ITS viene eseguito sulle sottovideocamere fisiche e questi test sono elencati in tools/run_all_tests.py sotto la costante SUB_CAMERA_TESTS.