Cuttlefish: cómo ejecutar un CTS estable

En esta página, se describe cómo ejecutar el Conjunto de pruebas de compatibilidad (CTS) para evaluar tu dispositivo virtual según el código fuente de AOSP.

Cómo compilar Cuttlefish

Antes de ejecutar el CTS, compila el dispositivo virtual que quieres probar con CTS. Para Cuttlefish de AOSP, haz lo siguiente:

source build/envsetup.sh
lunch aosp_cf_x86_64_phone-userdebug
make -j

Cómo compilar el CTS

El CTS se compila por separado de los artefactos del dispositivo. Para compilar el CTS, sigue estas instrucciones.

Ejecuta los siguientes comandos desde la raíz del mismo árbol en el que se compiló Cuttlefish:

source build/envsetup.sh
m -j cts WITH_DEXPREOPT_BOOT_IMG_AND_SYSTEM_SERVER_ONLY=false TARGET_PRODUCT=aosp_x86_64

Cómo iniciar instancias de Cuttlefish de varios usuarios

Ejecuta los siguientes comandos desde la raíz del mismo árbol en el que se compiló Cuttlefish:

source build/envsetup.sh
lunch aosp_cf_x86_64_phone-userdebug
launch_cvd --num_instances=8 --daemon

Cuando se inicien las instancias, verifica que cada uno de los dispositivos sea accesible para adb.

adb devices

El resultado debería ser similar al siguiente ejemplo:

List of devices attached
127.0.0.1:6520  device
127.0.0.1:6521  device
127.0.0.1:6522  device
127.0.0.1:6523  device
127.0.0.1:6524  device
127.0.0.1:6525  device
127.0.0.1:6526  device
127.0.0.1:6527  device

Cómo habilitar Wi-Fi en instancias de Cuttlefish

Algunas de las pruebas de CTS fallan si la conexión Wi-Fi no está habilitada. Para habilitar Wi-Fi en todos los dispositivos de Cuttlefish alojados localmente, sigue las instrucciones que aparecen a continuación.

Ejecuta los siguientes comandos desde la raíz del mismo árbol en el que se compiló Cuttlefish:

for SERIAL in $(adb devices | grep -E '127.+device$' | cut -f1); do
adb -s ${SERIAL} install -r -g tools/tradefederation/core/res/apks/wifiutil/WifiUtil.apk
adb -s ${SERIAL} shell su root svc wifi enable
adb -s ${SERIAL} shell am instrument -e method "connectToNetwork" -e scan_ssid "false" -e ssid "VirtWifi" -w com.android.tradefed.utils.wifi/.WifiUtil
done

Cómo ejecutar el subconjunto estable de CTS

No todas las pruebas del CTS son exitosas en Cuttlefish, ya que algunas son más personalizadas para dispositivos físicos. Para ejecutar el CTS con el plan de prueba cts-virtual-device-stable que realiza el seguimiento de los objetos estables más recientes en la plataforma virtual, sigue estas instrucciones.

Ejecuta los siguientes comandos desde la raíz del mismo árbol en el que se compiló Cuttlefish:

source build/envsetup.sh
lunch aosp_cf_x86_64_phone-userdebug
cts-tradefed run cts-virtual-device-stable --no-enable-parameterized-modules --max-testcase-run-count 2 --retry-strategy RETRY_ANY_FAILURE --reboot-at-last-retry --shard-count 8

La prueba durará de 20 a 25 minutos. Luego, obtendrás un resumen similar al siguiente:

=============== Summary ===============
Total Run time: 22m 8s
184/184 modules completed
Total Tests       : 92483
PASSED            : 92363
FAILED            : 0
IGNORED           : 71
ASSUMPTION_FAILURE: 49
Shard 0 used: [127.0.0.1:6522]
Shard 1 used: [127.0.0.1:6525]
Shard 2 used: [127.0.0.1:6524]
Shard 3 used: [127.0.0.1:6521]
Shard 4 used: [127.0.0.1:6520]
Shard 5 used: [127.0.0.1:6527]
Shard 6 used: [127.0.0.1:6526]
Shard 7 used: [127.0.0.1:6523]
============== End of Results ==============

Limpieza

Cuando finalicen las pruebas, detén los dispositivos virtuales.

Ejecuta los siguientes comandos desde la raíz del mismo árbol en el que se compiló Cuttlefish:

source build/envsetup.sh
lunch aosp_cf_x86_64_phone-userdebug
stop_cvd