Cuttlefish: esegui CTS stabile

Questa pagina descrive come eseguire la Compatibility Test Suite (CTS) per valutare il dispositivo virtuale in base al codice sorgente AOSP.

Creare Cuttlefish

Prima di eseguire CTS, crea il dispositivo virtuale che vuoi testare con CTS. Per AOSP Cuttlefish:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
make -j

Creare CTS

CTS viene creato separatamente dagli elementi del dispositivo. Per compilare CTS, segui queste istruzioni.

Dalla radice della stessa struttura in cui è stato creato Cuttlefish, esegui i seguenti comandi:

source build/envsetup.sh
m -j cts WITH_DEXPREOPT_BOOT_IMG_AND_SYSTEM_SERVER_ONLY=false TARGET_PRODUCT=aosp_x86_64

Avvia istanze Cuttlefish multi-tenant

Dalla radice della stessa struttura in cui è stato creato Cuttlefish, esegui i seguenti comandi:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
launch_cvd --num_instances=8 --daemon

Quando le istanze vengono avviate, verifica che ciascun dispositivo sia adb accessibile.

adb devices

L'output dovrebbe essere simile a quello dell'esempio riportato di seguito:

List of devices attached
127.0.0.1:6520  device
127.0.0.1:6521  device
127.0.0.1:6522  device
127.0.0.1:6523  device
127.0.0.1:6524  device
127.0.0.1:6525  device
127.0.0.1:6526  device
127.0.0.1:6527  device

Attivare il Wi-Fi nelle istanze Cuttlefish

Alcuni dei test CTS non vanno a buon fine se il Wi-Fi non è attivo. Per attivare il Wi-Fi su tutti i dispositivi Cuttlefish ospitati localmente, segui queste istruzioni.

Dalla radice della stessa struttura in cui è stato creato Cuttlefish, esegui i seguenti comandi:

for SERIAL in $(adb devices | grep -E '127.+device$' | cut -f1); do
adb -s ${SERIAL} install -r -g tools/tradefederation/core/res/apks/wifiutil/WifiUtil.apk
adb -s ${SERIAL} shell su root svc wifi enable
adb -s ${SERIAL} shell am instrument -e method "connectToNetwork" -e scan_ssid "false" -e ssid "VirtWifi" -w com.android.tradefed.utils.wifi/.WifiUtil
done

Esegui il sottoinsieme stabile CTS

Non tutti i CTS vengono superati su Cuttlefish, poiché alcuni test sono più personalizzati per i dispositivi fisici. Per eseguire il CTS con il cts-virtual-device-stable piano di test che monitora le ultime novità stabili sulla piattaforma virtuale, segui queste istruzioni.

Dalla radice della stessa struttura in cui è stato creato Cuttlefish, esegui i seguenti comandi:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
cts-tradefed run cts-virtual-device-stable --no-enable-parameterized-modules --max-testcase-run-count 2 --retry-strategy RETRY_ANY_FAILURE --reboot-at-last-retry --shard-count 8

Il test dovrebbe richiedere 20-25 minuti e stampare un riepilogo simile al seguente:

=============== Summary ===============
Total Run time: 22m 8s
184/184 modules completed
Total Tests       : 92483
PASSED            : 92363
FAILED            : 0
IGNORED           : 71
ASSUMPTION_FAILURE: 49
Shard 0 used: [127.0.0.1:6522]
Shard 1 used: [127.0.0.1:6525]
Shard 2 used: [127.0.0.1:6524]
Shard 3 used: [127.0.0.1:6521]
Shard 4 used: [127.0.0.1:6520]
Shard 5 used: [127.0.0.1:6527]
Shard 6 used: [127.0.0.1:6526]
Shard 7 used: [127.0.0.1:6523]
============== End of Results ==============

Pulizia

Al termine dei test, interrompi i dispositivi virtuali.

Dalla radice della stessa struttura in cui è stato creato Cuttlefish, esegui i seguenti comandi:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
stop_cvd