Menjalankan pengujian multiperangkat Pemverifikasi CTS

Halaman ini berisi petunjuk untuk menggunakan pengujian Better Together CTS Verifier (CTS-V) untuk Android 16 QPR2 atau yang lebih tinggi.

Menyiapkan pengujian multiperangkat sisi host

Bagian ini menjelaskan cara menyiapkan pengujian multiperangkat.

  1. Pastikan mesin desktop Anda memenuhi persyaratan sistem operasi untuk CTS.
  2. Ikuti langkah 2 dan 5 pada Menginstal software desktop untuk menginstal dan memverifikasi bahwa adb, AAPT2, dan Python telah diinstal dengan benar di desktop Anda.

    • Versi Python Anda harus 3.11 atau yang lebih tinggi. Untuk menentukan versi Python, jalankan python3 --version. Jika versinya lebih rendah dari 3.11, instal rilis Python resmi terbaru. Untuk mengetahui informasi lebih lanjut, lihat bagian Download di python.org.
    • Pengujian tertentu mengharuskan host memiliki modul Python venv. Di sistem Debian dan Ubuntu, modul ini mungkin tidak diinstal secara default. Untuk menentukan apakah versi Python Anda memiliki modul venv, jalankan python3 -m venv venv. Jika perintah ini gagal, pesan error akan ditampilkan. Ikuti perintah untuk menginstal paket python3.x-venv.
  3. Siapkan dua perangkat yang akan diuji (DUT) yang cocok, masing-masing dengan CTS-V yang telah disiapkan.

    • Untuk mengetahui informasi tentang cara menyiapkan DUT, lihat Menyiapkan DUT.
    • Untuk mengetahui petunjuk tentang cara menyiapkan CTS-V, lihat Penyiapan.
  4. Buka bagian penyiapan untuk jenis pengujian Anda:

    Jika pengujian Anda tidak ada dalam daftar ini, lanjutkan ke Menyiapkan pengujian dua perangkat standar

Menyiapkan pengujian NFC

Pengujian NFC menggunakan satu DUT dan satu chip NFC PN532.

Untuk menyiapkan pengujian NFC:

  1. Beli chip NFC PN532. Sebaiknya gunakan All-In-One PN532.
  2. Di DUT, buka aplikasi Setelan.

  3. Aktifkan NFC.

  4. Posisikan chip NFC:

    • Untuk ponsel, posisikan pembaca NFC DUT seperti yang ditunjukkan pada Gambar 1:

      Penempatan chip NFC

      Gambar 1. Penempatan chip NFC.

    • Untuk jenis perangkat lainnya, posisikan chip di samping antena NFC perangkat.

  5. Hubungkan chip NFC PN532 ke workstation pengujian menggunakan kabel USB.

Opsional: Menyiapkan pengujian koneksi AP Wi-Fi

Pengujian koneksi titik akses (AP) Wi-Fi (CtsWifiConnectionTests) menguji konektivitas antara DUT dan AP. Sebaiknya Anda menjalankan pengujian ini, tetapi pengujian ini tidak diperlukan di CTS-V Android 16 16 QPR2.

Pengujian ini memerlukan DUT dan AP Banana Pi R3 OpenWrt.

Untuk menyiapkan pengujian koneksi AP Wi-Fi:

  1. Beli Banana Pi R3 AP dan aksesori yang tercantum dalam tabel ini:

    Item Kuantitas
    Board BPi-R3, mirip dengan Banana Pi BPI-R3 Router Board dengan dukungan desain chip MediaTek MT7986 untuk Wi-Fi 6 ,RAM DDR 2G ,flash eMMC 8G onboard 1
    Casing aluminium BPi-R3, mirip dengan casing Iron BPI-R3 1
    Penyalur panas aluminium BPi-R3 (kipas pendingin), serupa dengan penyalur panas aluminium BPI-R3 dengan kipas 1
    Antena 2 dan 5 GHz dengan kabel, mirip dengan antena 5DB di toko BPI 8
    Adaptor daya, serupa dengan catu daya DC 12 V/2 A 1

    Untuk melakukan pembelian, lihat bagian Mudah dibeli di halaman Banana Pi BPI-R3.

  2. Siapkan titik akses. Untuk mengetahui informasi tentang cara menyiapkan titik akses, lihat Menyiapkan AP Banana Pi BPI-R3.

  3. Opsional: Jika Anda tidak memiliki kotak pelindung, sebaiknya gunakan kotak pelindung JTP-SR101. Beli kotak ini menggunakan informasi berikut:

    Dong Guan Zheng Sheng Electronics Technology Co., LTD
    Bohui Industrial Park, Panlong Road, Liaobu Town, Dongguan City, Guangdong Province, China
    Kontak: Forest Pan
    Email: forest.pan@jtpmak.cn
    Telepon (China): +86 18676993556

  4. Hubungkan DUT dan AP ke host dan letakkan di dalam kotak pelindung RF. DUT dan AP harus berjarak minimal 10 cm. Gambar 2 menunjukkan konfigurasi ini:

    DUT dan AP dalam kotak perisai

    Gambar 2. DUT dan AP dalam kotak pelindung.

  5. Gunakan SSH untuk memverifikasi bahwa AP dapat diakses dari host.

Menyiapkan pengujian dua perangkat standar

Untuk penyiapan dua perangkat default:

  1. Letakkan dua DUT Android yang cocok dengan jarak sekitar 20 cm.
  2. Untuk menyiapkan lingkungan yang bersih, letakkan kedua perangkat di dalam kotak pelindung.

  3. Opsional: Siapkan sniffer OTA untuk proses debug Wi-Fi.

Menyiapkan pengujian CDM

Kasus pengujian test_permissions_sync() memiliki perilaku yang berbeda bergantung pada jenis build perangkat tempat pengujian dijalankan. Sangat penting agar build yang dapat di-debug (userdebug atau eng) dan yang tidak dapat di-debug (user) diuji oleh OEM dan agar pengujian lulus untuk keduanya.

Pengecualian

Klausul CDD untuk penerapan API sinkronisasi izin hanya mewajibkan API tersebut dapat mentransfer data antar-perangkat melalui saluran yang aman. Karena penerapan saluran aman bukan persyaratan kepatuhan CDD, pengujian ini dapat dilewati pada build yang tidak dapat di-debug (pengguna), tetapi hanya jika Anda ingin menonaktifkan dukungan untuk fitur sinkronisasi izin CDM.

Pengujian harus lulus pada build yang dapat di-debug tanpa pengecualian.

Prasyarat untuk pengujian pada build yang tidak dapat di-debug

Jika Anda tidak dikecualikan oleh klausul pengecualian sebelumnya, pastikan Anda memenuhi prasyarat berikut.

Saluran aman menggunakan AVF (AttestationVerificationFramework) untuk memverifikasi keandalan hardware. Pengesahan yang dibuat oleh kedua belah pihak berisi beberapa informasi tentang diri mereka untuk memastikan bahwa tidak ada perubahan yang tidak sah dalam sistem mereka. AVF memeriksa status berikut selama proses verifikasi:

  • Perangkat memiliki akses ke internet
  • Perangkat menggunakan booting terverifikasi dan build harus ditandatangani dengan kunci rilis, bukan kunci dev
  • Bootloader perangkat terkunci. Untuk mendapatkan petunjuk terperinci, lihat mengunci bootloader
  • Tingkat patch OS, boot utama, dan vendor utama berada dalam waktu 12 bulan. Jangan gunakan build yang lebih lama dari satu tahun
  • Pengesahan perangkat didukung oleh salah satu sertifikat root yang disetujui vendor. Tentukan sertifikat root tepercaya Anda di overlay resource vendor_required_attestation_certificates.xml.

Menjalankan pengujian multiperangkat sisi host (AOSP 16 atau yang lebih baru)

CTS Verifier 16 memperkenalkan dukungan untuk pengujian multiperangkat sisi host. Pengujian ini dapat dijalankan menggunakan skrip otomatis di host, bukan operasi pengujian manual di perangkat. Setelah setiap pengujian selesai, hasil akan otomatis diupload ke DUT dan ditampilkan di aplikasi CTS Verifier.

Bagian ini menjelaskan cara menjalankan pengujian multiperangkat sisi host.

Menjalankan pengujian multiperangkat

Untuk menjalankan pengujian multiperangkat:

  1. Di workstation pengujian, luncurkan konsol cts-v-host dari direktori tempat paket zip CTS-V diekstrak:

    ./android-cts-verifier/android-cts-v-host/tools/cts-v-host-tradefed
    
  2. Dari dalam aplikasi CTS Verifier di DUT, klik Host-side Tests. Gambar 3 menunjukkan pengujian sisi host di aplikasi CTS Verifier:

    Pengujian multiperangkat sisi host di aplikasi CTS Verifier

    Gambar 3. Pengujian multiperangkat sisi host di aplikasi CTS Verifier.

    Daftar modul pengujian multiperangkat sisi host pengujian ditampilkan.

  3. Identifikasi nama modul pengujian yang ingin Anda jalankan. Misalnya, modul CompanionDeviceManager dicantumkan sebagai CtsCompanionDeviceManagerMultiDeviceTestCases.

  4. Di konsol cts-v-host, jalankan perintah berikut:

    run cts-v-host -m test_module_name
    

    Contoh:

    run cts-v-host -m CtsCompanionDeviceManagerMultiDeviceTestCases
    

    Setelah konsol xTS selesai menjalankan pengujian, hasilnya akan muncul di aplikasi CTS Verifier. Pengujian yang ditandai hijau telah lulus. Pengujian yang ditandai merah telah gagal. Gambar 4 menunjukkan contoh hasil untuk pengujian CtsCompanionDeviceManager:

    Hasil pengujian multiperangkat sisi host di aplikasi CTS Verifier

    Gambar 4. Hasil pengujian multiperangkat sisi host di aplikasi CTS Verifier.

Opsional: Jalankan uji koneksi AP Wi-Fi

Ikuti langkah-langkah berikut untuk menjalankan pengujian koneksi AP Wi-Fi:

  1. Edit file konfigurasi testbed (WifiConnectionTestbed.yaml). File ini berada di direktori tempat CTS-Verifier di-unzip:

    ./android-cts-verifier/android-cts-v-host/testcases/CtsWifiConnectionTests/x86_64/connection/WifiConnectionTestbed.yaml
    
  2. Ubah nilai kolom hostname menjadi alamat IP AP, berdasarkan setelan SSH lokal Anda. Untuk mengidentifikasi alamat IP, lihat Menemukan alamat IP AP.

    Contoh berikut menunjukkan lokasi kolom hostname dalam file WifiConnectionTestbed.yaml:

    TestBeds:
    - Name: WifiConnectionTestbed
      Controllers:
        # Specify settings for the AP.
        OpenWrtDevice:
        - hostname: AP-IP
          skip_init_reboot: True
    
  3. Di konsol cts-v-host, jalankan perintah berikut:

    run everything -m CtsWifiConnectionTests
    

Memecahkan masalah pengujian multiperangkat

Bagian ini memberikan bantuan pemecahan masalah untuk kemungkinan masalah.

Memperbaiki Tidak ada respons untuk GetFirmwareVersion selama pengujian NFC

Jika Anda menerima pesan verify_firmware_version RuntimeError: No response for GetFirmwareVersion saat menjalankan pengujian multiperangkat, pengujian tidak dapat mengakses papan NFC PN532.

Untuk memperbaiki masalah ini, identifikasi jalur serial yang digunakan oleh papan NFC PN532 di host Anda, seperti dev/ttyUSB1, lalu tentukan secara manual menggunakan argumen --module-arg di konsol:

run cts-v-host -m CtsNfcHceMultiDeviceTestCases --module-arg CtsNfcHceMultiDeviceTestCases:pn532_serial_path:/dev/ttyUSB1

Memperbaiki pesan error Transaksi gagal selama pengujian NFC

Jika Anda menerima pesan Transaction failed, check device logs for more information. untuk semua kasus pengujian NFC, kemungkinan karena chip NFC DUT tidak dapat mendeteksi PN532.

Jika ada beberapa perangkat yang terhubung ke host, dan beberapa di antaranya tidak memiliki PN532 di atasnya, DUT yang salah mungkin telah dipilih. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan pengujian NFC.

Untuk memperbaiki masalah ini, lakukan salah satu tindakan berikut:

  • Setel serial DUT yang benar dalam perintah pengujian sisi host menggunakan tanda -s.

  • Putuskan koneksi semua perangkat non-DUT dari host.

Kasus pengujian CDM test_permissions_sync diabaikan

Jika pengujian dijalankan di perangkat yang tidak dapat di-debug, lihat apakah Anda dikecualikan. Jika tidak, pastikan kedua perangkat memenuhi prasyarat.