Mehrgerätetests mit CTS Verifier ausführen

Auf dieser Seite finden Sie eine Anleitung zur Verwendung von Better Together CTS Verifier-Tests (CTS-V) für Android 16 QPR2 oder höher.

Hostseitige Tests auf mehreren Geräten einrichten

In diesem Abschnitt wird beschrieben, wie Sie Tests auf mehreren Geräten einrichten.

1. Prüfen Sie, ob Ihr Computer die Betriebssystemanforderungen für CTS erfüllt.

2. Folgen Sie den Schritten 2 und 5 unter Desktopsoftware installieren, um zu prüfen, ob adb, AAPT2 und Python auf Ihrem Computer korrekt installiert sind.

   • Ihre Python-Version sollte 3.11 oder höher sein. Führen Sie python3 --version aus, um Ihre Python-Version zu ermitteln. Wenn die Version niedriger als 3.11 ist, installieren Sie die neueste offizielle Python-Version. Weitere Informationen finden Sie im Abschnitt Downloads von python.org.
   • Für bestimmte Tests muss auf dem Host das Python-Modul venv installiert sein. Auf Debian- und Ubuntu-Systemen ist dieses Modul möglicherweise nicht standardmäßig installiert. Führen Sie python3 -m venv venv aus, um festzustellen, ob Ihre Python-Version das Modul venv enthält. Wenn dieser Befehl fehlschlägt, wird eine Fehlermeldung angezeigt. Folgen Sie der Anleitung, um das python3.x-venv-Paket zu installieren.

3. Bereiten Sie zwei passende Testgeräte vor, auf denen jeweils CTS-V eingerichtet ist.

   • Informationen zum Einrichten eines DUT finden Sie unter DUT einrichten.
   • Eine Anleitung zum Einrichten von CTS-V finden Sie unter Einrichtung.

4. Rufen Sie den Einrichtungsbereich für Ihren Testtyp auf:

   • Informationen zu NFC-Tests finden Sie unter NFC-Tests einrichten.
   • Informationen zu Tests für die Verbindung mit WLAN-APs finden Sie unter Tests für die Verbindung mit WLAN-APs einrichten.
   • Wenn Sie das CDM-Modul testen möchten, folgen Sie der Anleitung unter Standardtests mit zwei Geräten einrichten und dann unter CDM-Tests einrichten.

   Wenn Ihr Test nicht in dieser Liste enthalten ist, fahren Sie mit Standardtests mit zwei Geräten einrichten fort.

NFC-Tests einrichten

Für NFC-Tests wird ein DUT und ein PN532-NFC-Chip verwendet.

So richten Sie NFC-Tests ein:

1. Kaufen Sie einen PN532-NFC-Chip. Wir empfehlen den All-In-One PN532.

2. Rufen Sie auf dem zu testenden Gerät die Einstellungen auf.

3. Aktivieren Sie NFC.

4. Positionieren Sie den NFC-Chip:

   • Positionieren Sie das NFC-Lesegerät des Prüflings wie in Abbildung 1 gezeigt:

     

     Abbildung 1: Positionierung des NFC-Chips.

   • Bei anderen Gerätetypen halten Sie den Chip an die NFC-Antenne des Geräts.

5. Schließen Sie den PN532-NFC-Chip über ein USB-Kabel an Ihre Test-Workstation an.

Optional: WLAN-AP-Verbindungstests einrichten

Bei den Tests für die Verbindung zum WLAN-Zugangspunkt (AP) (CtsWifiConnectionTests) wird die Konnektivität zwischen einem DUT und einem AP getestet. Wir empfehlen dringend, diese Tests auszuführen, sie sind jedoch in CTS-V Android 16 16 QPR2 nicht erforderlich.

Für diese Tests sind ein DUT und ein OpenWrt Banana Pi R3-AP erforderlich.

So richten Sie Tests für die Verbindung mit WLAN-APs ein:

1. Kaufen Sie den Banana Pi R3 AP und das in dieser Tabelle aufgeführte Zubehör:

   Artikel	Menge
   BPi-R3-Board, ähnlich dem Banana Pi BPI-R3 Router Board mit MediaTek MT7986-Chipdesign ,das Wi-Fi 6 ,2G DDR-RAM und 8G eMMC-Flash unterstützt	1
   BPi-R3-Aluminiumgehäuse, ähnlich dem BPI-R3-Eisengehäuse	1
   BPi-R3-Kühlkörper aus Aluminium (Lüfter), ähnlich dem BPI-R3-Kühlkörper aus Aluminium mit Lüfter	1
   2- und 5‑GHz-Antenne mit Kabel, ähnlich der 5DB-Antenne im BPI-Shop	8
   Netzteil, ähnlich dem 12‑V‑/2‑A‑Gleichstromnetzteil	1

   Informationen zum Kauf finden Sie auf der Seite des Banana Pi BPI‑R3 im Abschnitt Easy to buy (Einfach zu kaufen).

2. Richten Sie den Zugangspunkt ein. Informationen zum Einrichten des Zugriffspunkts finden Sie unter Banana Pi BPI-R3 als AP einrichten.

3. Optional: Wenn Sie keine Abschirmbox haben, empfehlen wir die JTP-SR101. Kaufen Sie diese Box mit den folgenden Informationen:

   Dong Guan Zheng Sheng Electronics Technology Co., LTD
   Bohui Industrial Park, Panlong Road, Liaobu Town, Dongguan City, Guangdong Province, China
   Ansprechpartner: Forest Pan
   E-Mail: forest.pan@jtpmak.cn
   Telefon (China): +86 18676993556

4. Verbinden Sie das DUT und den AP mit dem Host und legen Sie sie in eine HF-Abschirmbox. Das Prüfgerät und der AP sollten mindestens 10 cm voneinander entfernt sein. Abbildung 2 zeigt diese Konfiguration:

   

   Abbildung 2: DUT und AP in der Abschirmbox.

5. Prüfen Sie mit SSH, ob der AP vom Host aus erreichbar ist.

Standardtests auf zwei Geräten einrichten

Für die Standardeinrichtung mit zwei Geräten:

1. Stellen Sie zwei passende Android-Testgeräte in einem Abstand von etwa 20 cm auf.

2. Um eine saubere Umgebung zu schaffen, legen Sie beide Geräte in eine Abschirmbox.

3. Optional: OTA-Sniffer für WLAN-Debugging einrichten

CDM-Tests einrichten

Der Testlauf test_permissions_sync() verhält sich je nach Build-Typ der Geräte, auf denen der Test ausgeführt wird, unterschiedlich. Es ist wichtig, dass OEMs sowohl debugfähige (userdebug oder eng) als auch nicht debugfähige (user) Builds testen und dass die Tests für beide bestehen.

Ausnahme

Die CDD-Klausel für die Implementierung der Permissions Sync API erfordert nur, dass Daten über einen sicheren Kanal zwischen Geräten übertragen werden können. Da die Implementierung des sicheren Kanals keine CDD-Konformitätsanforderung ist, kann dieser Test bei nicht debugfähigen (Nutzer-)Builds übersprungen werden, aber nur, wenn Sie die Funktion zur Synchronisierung von CDM-Berechtigungen nicht unterstützen möchten.

Die Tests müssen bei debugfähigen Builds ausnahmslos bestanden werden.

Voraussetzungen für das Testen von nicht debugfähigen Builds

Wenn Sie nicht durch die vorherigen Ausnahmeklauseln ausgenommen sind, prüfen Sie, ob Sie die folgenden Voraussetzungen erfüllen.

Der sichere Kanal verwendet AVF (AttestationVerificationFramework), um die Vertrauenswürdigkeit der Hardware zu überprüfen. Von beiden Parteien generierte Attestierungen enthalten verschiedene Informationen über sie selbst, um sicherzustellen, dass in ihrem System keine unbefugten Änderungen vorgenommen wurden. AVF prüft während des Überprüfungsprozesses die folgenden Status:

• Das Gerät hat Zugriff auf das Internet.
• Das Gerät verwendet Verified Boot und der Build muss mit einem Release-Schlüssel und nicht mit einem Entwicklerschlüssel signiert werden.
• Der Bootloader des Geräts ist gesperrt. Eine ausführliche Anleitung finden Sie unter Bootloader sperren.
• Die Patch-Ebenen für Betriebssystem, Haupt-Bootloader und Hauptanbieter liegen innerhalb von 12 Monaten. Verwenden Sie keinen Build, der älter als ein Jahr ist.

• Die Geräteattestierung wird durch eines der vom Anbieter genehmigten Stammzertifikate unterstützt. Geben Sie Ihre vertrauenswürdigen Root-Zertifikate im Ressourcen-Overlay vendor_required_attestation_certificates.xml an.

Hostseitige Multidevice-Tests ausführen (AOSP 16 oder höher)

Mit CTS Verifier 16 wird die Unterstützung für Host-seitige Tests auf mehreren Geräten eingeführt. Diese Tests können mithilfe automatisierter Skripts auf dem Host ausgeführt werden, anstatt manuell auf dem Gerät. Nach Abschluss jedes Tests werden die Ergebnisse automatisch auf das zu testende Gerät hochgeladen und in der CTS Verifier App angezeigt.

In diesem Abschnitt wird erläutert, wie Sie die hostseitigen Tests für mehrere Geräte ausführen.

Tests auf mehreren Geräten ausführen

So führen Sie einen Test auf mehreren Geräten durch:

1. Starten Sie auf Ihrer Test-Workstation die cts-v-host-Konsole aus dem Verzeichnis, in dem das CTS-V-ZIP-Paket entzippt wurde:

   ./android-cts-verifier/android-cts-v-host/tools/cts-v-host-tradefed
   

2. Klicken Sie in der CTS Verifier App auf dem DUT auf Host-side Tests (Hostseitige Tests). Abbildung 3 zeigt die Host-seitigen Tests in der CTS Verifier App:

   

   Abbildung 3: Hostseitige Multidevice-Tests in der CTS Verifier App.

   Eine Liste der hostseitigen Multidevice-Testmodule wird angezeigt.

3. Ermitteln Sie den Namen des Testmoduls, das Sie ausführen möchten. Das CompanionDeviceManager-Modul wird beispielsweise als CtsCompanionDeviceManagerMultiDeviceTestCases aufgeführt.

4. Führen Sie in der cts-v-host-Konsole den folgenden Befehl aus:

   run cts-v-host -m test_module_name
   

   Beispiel:

   run cts-v-host -m CtsCompanionDeviceManagerMultiDeviceTestCases
   

   Nachdem die xTS-Konsole die Tests ausgeführt hat, werden die Ergebnisse in der CTS Verifier App angezeigt. Grün markierte Tests wurden bestanden. Rot markierte Tests sind fehlgeschlagen. Abbildung 4 zeigt Beispielergebnisse für die CtsCompanionDeviceManager-Tests:

   

   Abbildung 4: Ergebnisse von Host-seitigen Tests auf mehreren Geräten in der CTS Verifier App.

Optional: WLAN-AP-Verbindungstests ausführen

So führen Sie Tests für die WLAN-AP-Verbindung aus:

1. Bearbeiten Sie die Testbed-Konfigurationsdatei (WifiConnectionTestbed.yaml). Diese Datei befindet sich in dem Verzeichnis, in dem CTS‑Verifier entpackt wurde:

   ./android-cts-verifier/android-cts-v-host/testcases/CtsWifiConnectionTests/x86_64/connection/WifiConnectionTestbed.yaml
   

2. Ändern Sie den Wert des Felds hostname in die IP-Adresse des AP, basierend auf Ihren lokalen SSH-Einstellungen. Informationen zum Ermitteln der IP-Adresse finden Sie unter IP-Adresse des Access Points ermitteln.

   Das folgende Beispiel zeigt die Position des Felds hostname in der Datei WifiConnectionTestbed.yaml:

   TestBeds:
   - Name: WifiConnectionTestbed
     Controllers:
       # Specify settings for the AP.
       OpenWrtDevice:
       - hostname: AP-IP
         skip_init_reboot: True
   

3. Führen Sie in der cts-v-host-Konsole den folgenden Befehl aus:

   run everything -m CtsWifiConnectionTests
   

Fehlerbehebung bei Tests auf mehreren Geräten

In diesem Abschnitt finden Sie Hilfe bei der Fehlerbehebung für mögliche Probleme.

Problem behoben: Keine Antwort für „GetFirmwareVersion“ bei NFC-Tests

Wenn Sie beim Ausführen der Tests für mehrere Geräte die Meldung verify_firmware_version RuntimeError: No response for GetFirmwareVersion erhalten, können die Tests nicht auf das PN532-NFC-Board zugreifen.

Um dieses Problem zu beheben, müssen Sie den seriellen Pfad ermitteln, der vom PN532-NFC-Board auf Ihrem Host verwendet wird, z. B. dev/ttyUSB1, und ihn dann manuell mit dem Argument --module-arg in der Konsole angeben:

run cts-v-host -m CtsNfcHceMultiDeviceTestCases --module-arg CtsNfcHceMultiDeviceTestCases:pn532_serial_path:/dev/ttyUSB1

Fehlermeldung „Transaktion fehlgeschlagen“ bei NFC-Tests beheben

Wenn Sie für alle NFC-Testläufe die Meldung Transaction failed, check device logs for more information. erhalten, liegt das wahrscheinlich daran, dass der NFC-Chip des zu testenden Geräts den PN532 nicht erkennen kann.

Wenn mehrere Geräte mit dem Host verbunden sind und einige davon keinen PN532 obenauf haben, wurde möglicherweise das falsche DUT ausgewählt. Weitere Informationen finden Sie unter NFC-Tests einrichten.

Führen Sie einen der folgenden Schritte aus, um das Problem zu beheben:

• Legen Sie die richtige Seriennummer des zu testenden Geräts in Ihrem hostseitigen Testbefehl mit dem Flag -s fest.

• Trennen Sie alle Geräte, die nicht zum Prüfling gehören, vom Host.

CDM-Testlauf test_permissions_sync wird ignoriert

Wenn der Test auf Geräten ausgeführt wird, die nicht debugfähig sind, prüfen Sie, ob Sie ausgenommen sind. Prüfen Sie andernfalls, ob beide Geräte die Voraussetzungen erfüllen.