Utilizzo del verificatore CTS

Android Compatibility Test Suite Verifier (CTS Verifier) ​​integra il Compatibility Test Suite (CTS). Mentre CTS controlla le API e le funzioni che possono essere automatizzate, CTS Verifier fornisce test per API e funzioni che non possono essere testate su un dispositivo fisso senza input o posizionamento manuale, come qualità audio, touchscreen, accelerometro e fotocamera.

Requisiti

Prima di eseguire CTS Verifier, assicurati di disporre della seguente attrezzatura:

  • Dispositivo Android che ha verificato la compatibilità dell'API Android superando con successo il CTS. Questo è il dispositivo in prova (DUT).
  • Computer Linux con porta compatibile USB 2.0. Tutte le connessioni al DUT passano attraverso questa porta.
  • Secondo dispositivo Android con implementazione compatibile nota di Bluetooth, Wi-Fi direct, Wi-Fi Aware, UWB (se il DUT supporta UWB) e di emulazione della scheda host NFC (HCE).
  • Un router Wi-Fi configurato con nome e password del punto di accesso. Il router dovrebbe essere in grado di disconnettersi da Internet, ma non spento.

Assicurati di preparare anche i treppiedi, i supporti per dispositivi e le distanze premisurate necessarie per i test di misurazione della distanza (prossimità) per UWB, Wi-Fi NAN e Bluetooth RSSI. Per i dettagli, vedere Calibrazione di presenza .

Requisiti UICC per i test NFC

CTS Verifier dispone dei seguenti casi di test NFC:

  • Field-off (utilizza i dati della transazione da 0x54)
  • Deseleziona (utilizza i dati della transazione da 0x52)
  • Comando HCI (0025000000) (utilizza i dati della transazione da 0x02)

I test degli eventi di transazione richiedono due dispositivi, uno dei quali deve avere SecureElement UICC con le seguenti regole di accesso:

  • Hash APK CtsVerifier: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
  • Identificatore dell'applicazione autorizzato (AID) per l'accesso agli eventi NFC: 0xA000000476416E64726F696443545341

Dal lato dell'emulatore, ci aspettiamo che l'evento di transazione porti in primo piano l'attività corrispondente.

Impostare

Modificare la modalità di navigazione del sistema del dispositivo di prova in modalità a tre pulsanti come segue:

  1. Apri Impostazioni.
  2. Passare a Sistema > Gesto > Navigazione del sistema .
  3. Selezionare una modalità di navigazione basata su pulsanti, preferibilmente la modalità a tre pulsanti, se disponibile.

Per configurare l'ambiente di test CTS Verifier:

  1. Sul computer Linux:

    • Eseguire il comando seguente prima di installare CTS Verifier per consentire l'accesso alle interfacce non SDK.

      adb shell settings put global hidden_api_policy 1
      
    • Installa Android Studio .

    • Scarica l' APK di CTS Verifier per la versione di Android da testare.

  2. Collega il DUT al computer Linux.

  3. Da un terminale sul computer Linux, installare CtsVerifier.apk sul DUT.

    adb install -r -g CtsVerifier.apk
    
  4. Per Android 10 e versioni successive, esegui il comando seguente per autorizzare l'app a creare il report.

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow
    
  5. Per Android 11 e versioni successive, esegui il comando seguente per consentire il salvataggio dei report in una directory definita dall'utente nella directory esterna di livello superiore del dispositivo.

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0
    
  6. Per Android 13 e versioni successive, esegui il comando seguente per consentire l'accesso all'API di test per CTS Verifier.

    adb shell am compat enable ALLOW_TEST_API_ACCESS com.android.cts.verifier
    
  7. Per Android 14 e versioni successive, esegui il comando seguente per autorizzare l'app ad accendere lo schermo.

    adb shell appops set com.android.cts.verifier TURN_SCREEN_ON 0
    
  8. Assicurarsi che la data e l'ora del sistema del DUT siano impostate correttamente.

Esegui CTS Verificatore

Avviare l'applicazione CTS Verifier toccando l'icona CTS Verifier sul DUT.

Icona CTS Verifier nel programma di avvio

Figura 1. Icona del verificatore CTS

L'app visualizza diversi set di test disponibili per la verifica manuale.

Menu dei test di CTS Verifier

Figura 2. Menu dei test di CTS Verifier

Ogni test contiene una serie di elementi comuni nella parte inferiore dello schermo.

Verificatore della qualità del video in streaming

Figura 3. Schermata di test con gli elementi di test comuni evidenziati

  • Passare ( ✓). Tocca se il DUT soddisfa i requisiti del test secondo le istruzioni Info.
  • Informazioni (?). Tocca per visualizzare le istruzioni del test. Appare automaticamente anche la prima volta che si apre un test.
  • Fallire (!). Tocca se il DUT non soddisfa i requisiti del test secondo le istruzioni Informazioni.

Alcuni test, come la modalità accessorio USB e il test di calibrazione della fotocamera, richiedono ulteriori impostazioni e istruzioni di test, come dettagliato nelle sezioni seguenti.

Testare la modalità accessorio USB per 8.0 e versioni successive

Test dell'accessorio USB CTS Verifier

Figura 4. Procedura di test dell'accessorio USB per 8.0 e versioni successive

Test dell'accessorio USB CTS Verifier

Figura 5. Test della modalità accessorio USB per 8.0 e versioni successive

Testare la modalità accessorio USB per 7.x e versioni precedenti

Il test dell'accessorio USB richiede che un computer Linux esegua il programma del computer desktop USB (host).

  1. Collega il DUT al computer Linux.
  2. Sul computer, eseguire il programma cts-usb-accessory dal pacchetto CTS Verifier:

    ./cts-usb-accessory
  3. Attendere la visualizzazione di un messaggio popup sul DUT, quindi selezionare OK .
    Test dell'accessorio USB CTS Verifier

    Figura 6. Test dell'accessorio USB

  4. Vai al test degli accessori USB nell'applicazione CTS Verifier sul DUT.

  5. Sul computer, esamina l'output dalla console. Esempio di output:

    CTS USB Accessory Tester
    Found possible Android device (413c:2106) - attempting to switch to accessory
    mode...
    Failed to read protocol versionfigure3
    Found Android device in accessory mode (18d1:2d01)...
    [RECV] Message from Android device #0
    [SENT] Message from Android accessory #0
    [RECV] Message from Android device #1
    [SENT] Message from Android accessory #1
    [RECV] Message from Android device #2
    [SENT] Message from Android accessory #2
    [RECV] Message from Android device #3
    [SENT] Message from Android accessory #3
    [RECV] Message from Android device #4
    [SENT] Message from Android accessory #4
    [RECV] Message from Android device #5
    [SENT] Message from Android accessory #5
    [RECV] Message from Android device #6
    [SENT] Message from Android accessory #6
    [RECV] Message from Android device #7
    [SENT] Message from Android accessory #7
    [RECV] Message from Android device #8
    [SENT] Message from Android accessory #8
    [RECV] Message from Android device #9
    [SENT] Message from Android accessory #9
    [RECV] Message from Android device #10
    [SENT] Message from Android accessory #10
    

Calibrare il campo visivo della telecamera

Utilizzare la procedura di calibrazione del campo visivo per determinare rapidamente il campo visivo del dispositivo con una precisione moderata.

  1. Configura l'ambiente di test:

    1. Stampare il file target calibrazione-pattern.pdf su carta di formato 11" x 17" o A3.
    2. Montare il motivo stampato su un supporto rigido.
    3. Orientare il dispositivo fotocamera e il target stampato come mostrato nel diagramma seguente.
      Bersaglio stampato dalla fotocamera

      Figura 7. Bersaglio stampato dalla fotocamera

  2. Imposta la larghezza di destinazione:

    1. Misurare la distanza (in centimetri) tra le linee continue sul motivo di destinazione per tenere conto delle imprecisioni di stampa (~38 cm).
    2. Avviare l'applicazione di calibrazione.
    3. Premere il pulsante di configurazione e selezionare Distanza marker .
    4. Misurare e inserire la distanza dal modello target (~100 cm).
    5. Premere il pulsante Indietro per tornare all'anteprima della calibrazione.
  3. Verificare che il dispositivo e il target siano posizionati come mostrato nella figura e che le distanze corrette siano state immesse nella finestra di dialogo di configurazione. L'anteprima mostra l'immagine con una linea verticale sovrapposta ad essa; questa linea dovrebbe allinearsi con la linea centrale del modello di destinazione. La griglia trasparente può essere utilizzata con le altre linee verticali per garantire che l'asse ottico sia ortogonale al bersaglio.

  4. Eseguire il test di calibrazione:

    1. Seleziona una risoluzione dell'immagine (utilizzando il selettore in basso a sinistra), quindi tocca lo schermo per scattare una foto. Il test entra in modalità calibrazione e visualizza la foto con due linee verticali sovrapposte all'immagine.
    2. Determinare la precisione:
      • Se le linee si allineano con le linee verticali sul modello target entro pochi centimetri, il campo visivo riportato per la risoluzione selezionata è accurato.
      • Se le linee non si allineano, il campo visivo riportato non è accurato. Per correggere questo problema, regolare il dispositivo di scorrimento nella parte inferiore dello schermo finché la sovrapposizione non si allinea il più fedelmente possibile al modello di destinazione. Quando la sovrapposizione e l'immagine del modello di destinazione sono allineate, il campo visivo visualizzato si avvicina molto al valore corretto. Il campo visivo riportato deve essere entro +/-2 gradi dal valore di calibrazione.
    3. Premere il pulsante Indietro e ripetere il test di calibrazione per tutte le risoluzioni immagine supportate dal DUT.

Esegui CTS Verifier per modalità alternative

A partire dalle versioni CTS 10 R6 e CTS 11 R2, CTS Verifier supporta i test richiesti per i dispositivi con modalità alternative o per i dispositivi con più di una modalità schermo.

Nella parte superiore della visualizzazione elenco principale in CTS Verifier viene visualizzato un pulsante che consente agli utenti di alternare tra la modalità di visualizzazione spiegata e piegata. CTS Verifier mostrerà i test necessari per la modalità di visualizzazione selezionata. Per eseguire le modalità alternative in CTS Verifier, è necessario spostare il pulsante sulla modalità di visualizzazione appropriata ed eseguire l'elenco dei test visualizzati.

Interruttore a levetta CTS-V

I risultati delle prove piegate verranno registrati nello stesso report delle prove spiegate. Per identificare ciascun risultato del test da cui proviene il set di test, viene aggiunto un suffisso a ciascun nome del test in modalità ripiegata.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Esporta risultati

Una volta completati tutti i test, è possibile salvare i risultati come report e scaricarli su un computer. I nomi dei report vengono automaticamente contrassegnati con l'ora in base all'ora del sistema DUT.

  1. Per salvare i risultati del test, tocca l'icona di salvataggio (disco) nella parte superiore dell'elenco delle categorie di test.

  2. Attendere un messaggio popup che visualizzi il percorso del file del report salvato (ad esempio, /sdcard/verifierReports/ctsVerifierReport-date-time.zip ), quindi registrare il percorso.

  3. Collega il DUT al computer Linux.

  4. Dall'installazione dell'SDK Android sul computer Linux, scaricare i report dal dispositivo connesso utilizzando adb shell content read o adb pull CTSVerifierReportPath .

    • Per Android 7.x e versioni successive, scarica tutti i report utilizzando il seguente comando:

      adb pull /sdcard/verifierReports
      
    • Per Android 6.0 e versioni precedenti, scarica tutti i report utilizzando il seguente comando:

      adb pull /mnt/sdcard/ctsVerifierReports/
      
    • Per Android 10 e versioni successive, con implementazione Automotive e dispositivi eseguiti come utente secondario , scarica il report più recente utilizzando il seguente comando:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip
      

      Per elencare tutti i report disponibili nel dispositivo connesso:

      adb shell content query --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports
      

      Per scaricare un report dall'elenco, è possibile specificare l'ID riga o il nome file. Per esempio:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
      
      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/ctsVerifierReport-date-time.zip >
      report.zip
      
  5. Per cancellare i risultati superato/fallito, seleziona i risultati nell'app CTS Verifier e seleziona Menu > Cancella .