Cuttlefish: Stabile CTS ausführen

Auf dieser Seite wird beschrieben, wie Sie die Compatibility Test Suite (CTS) ausführen, um Ihr virtuelles Gerät anhand des AOSP-Quellcodes zu bewerten.

Cuttlefish erstellen

Bevor Sie CTS ausführen, erstellen Sie das virtuelle Gerät, das Sie mit CTS testen möchten. Für AOSP Cuttlefish gehen Sie so vor:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
make -j

CTS erstellen

CTS wird separat von Ihren Geräteartefakten erstellt. Folgen Sie dieser Anleitung, um CTS zu erstellen.

Führen Sie im Stammverzeichnis desselben Verzeichnisbaums, in dem Cuttlefish erstellt wurde, die folgenden Befehle aus:

source build/envsetup.sh
m -j cts WITH_DEXPREOPT_BOOT_IMG_AND_SYSTEM_SERVER_ONLY=false TARGET_PRODUCT=aosp_x86_64

Mehrmandantenfähige Cuttlefish-Instanzen starten

Führen Sie im Stammverzeichnis desselben Verzeichnisbaums, in dem Cuttlefish erstellt wurde, die folgenden Befehle aus:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
launch_cvd --num_instances=8 --daemon

Prüfen Sie nach dem Start der Instanzen, ob auf jedes der Geräte adb zugegriffen werden kann.

adb devices

Die Ausgabe sollte in etwa so aussehen:

List of devices attached
127.0.0.1:6520  device
127.0.0.1:6521  device
127.0.0.1:6522  device
127.0.0.1:6523  device
127.0.0.1:6524  device
127.0.0.1:6525  device
127.0.0.1:6526  device
127.0.0.1:6527  device

WLAN für Cuttlefish-Instanzen aktivieren

Einige CTS-Tests schlagen fehl, wenn WLAN nicht aktiviert ist. So aktivieren Sie WLAN auf allen lokal gehosteten Cuttlefish-Geräten:

Führen Sie im Stammverzeichnis desselben Verzeichnisbaums, in dem Cuttlefish erstellt wurde, die folgenden Befehle aus:

for SERIAL in $(adb devices | grep -E '127.+device$' | cut -f1); do
adb -s ${SERIAL} install -r -g tools/tradefederation/core/res/apks/wifiutil/WifiUtil.apk
adb -s ${SERIAL} shell su root svc wifi enable
adb -s ${SERIAL} shell am instrument -e method "connectToNetwork" -e scan_ssid "false" -e ssid "VirtWifi" -w com.android.tradefed.utils.wifi/.WifiUtil
done

Stabilen Teil der CTS ausführen

Nicht alle CTS werden in Cuttlefish bestanden, da einige der Tests eher auf physische Geräte zugeschnitten sind. So führen Sie den CTS mit dem cts-virtual-device-stable-Testplan aus, der die neuesten stabilen Versionen auf der virtuellen Plattform erfasst:

Führen Sie im Stammverzeichnis desselben Verzeichnisbaums, in dem Cuttlefish erstellt wurde, die folgenden Befehle aus:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
cts-tradefed run cts-virtual-device-stable --no-enable-parameterized-modules --max-testcase-run-count 2 --retry-strategy RETRY_ANY_FAILURE --reboot-at-last-retry --shard-count 8

Der Test dauert etwa 20 bis 25 Minuten und druckt eine Zusammenfassung aus, die in etwa so aussieht:

=============== Summary ===============
Total Run time: 22m 8s
184/184 modules completed
Total Tests       : 92483
PASSED            : 92363
FAILED            : 0
IGNORED           : 71
ASSUMPTION_FAILURE: 49
Shard 0 used: [127.0.0.1:6522]
Shard 1 used: [127.0.0.1:6525]
Shard 2 used: [127.0.0.1:6524]
Shard 3 used: [127.0.0.1:6521]
Shard 4 used: [127.0.0.1:6520]
Shard 5 used: [127.0.0.1:6527]
Shard 6 used: [127.0.0.1:6526]
Shard 7 used: [127.0.0.1:6523]
============== End of Results ==============

Bereinigung

Beenden Sie die virtuellen Geräte nach Abschluss der Tests.

Führen Sie im Stammverzeichnis desselben Verzeichnisbaums, in dem Cuttlefish erstellt wurde, die folgenden Befehle aus:

source build/envsetup.sh
lunch aosp_cf_x86_64_only_phone-userdebug
stop_cvd