Menjalankan pengujian CTS-V

Compatibility Test Suite Verifier (CTS Verifier) Android melengkapi Compatibility Test Suite (CTS). Meskipun CTS memeriksa API dan fungsi yang dapat diotomatiskan, CTS Verifier menyediakan pengujian untuk API dan fungsi yang tidak dapat diuji pada perangkat stasioner tanpa input atau penentuan posisi manual, seperti kualitas audio, layar sentuh, akselerometer, dan kamera.

Persyaratan

Sebelum menjalankan CTS Verifier, pastikan Anda memiliki peralatan berikut:

  • Perangkat yang didukung Android yang telah memverifikasi kompatibilitas Android API dengan lulus CTS. Ini adalah perangkat yang diuji (DUT).
  • Komputer Linux dengan port yang kompatibel dengan USB 2.0. Semua koneksi ke DUT melalui port ini.
  • Perangkat kedua yang didukung Android dengan implementasi Bluetooth, Wi-Fi Langsung, Wi-Fi Aware, UWB (jika DUT mendukung UWB), dan host card emulation NFC (HCE) yang kompatibel.
  • Router Wi-Fi yang dikonfigurasi dengan nama dan sandi titik akses. Router harus dapat terputus dari internet tanpa dimatikan.

Pastikan Anda juga menyiapkan tripod, dudukan perangkat, dan jarak yang telah diukur sebelumnya yang diperlukan untuk pengujian pengukuran jarak (kedekatan) untuk UWB, Wi-Fi NAN, dan Bluetooth RSSI. Untuk mengetahui detailnya, lihat Kalibrasi kehadiran.

Persyaratan UICC untuk pengujian NFC

CTS Verifier memiliki kasus pengujian NFC berikut:

  • Field-off (menggunakan data transaksi dari 0x54)
  • De-select (menggunakan data transaksi dari 0x52)
  • Perintah HCI (0025000000) (menggunakan data transaksi dari 0x02)

Pengujian peristiwa transaksi memerlukan dua perangkat, salah satunya harus memiliki SecureElement UICC dengan aturan akses berikut:

  • Hash APK CtsVerifier: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
  • Pengenal Aplikasi (AID) yang Diotorisasi untuk akses peristiwa NFC: 0xA000000476416E64726F696443545341

Di sisi emulator, kami berharap peristiwa transaksi akan mendorong aktivitas yang sesuai ke latar depan.

Penyiapan

Android 17 memerlukan langkah penyiapan CTS-V tambahan untuk memberikan peran browser default.

Ubah mode navigasi sistem perangkat pengujian ke mode tiga tombol sebagai berikut:

  1. Buka Setelan.
  2. Buka Sistem > Interaksi > Mode navigasi.
  3. Pilih mode navigasi berbasis tombol apa pun; mode tiga tombol lebih disukai, jika tersedia.

Untuk menyiapkan lingkungan pengujian CTS Verifier:

  1. Di komputer Linux:

    1. Sebelum menginstal CTS Verifier, jalankan perintah berikut untuk mengizinkan akses ke antarmuka non-SDK:
    adb shell settings put global hidden_api_policy 1

    1. Instal Android Studio.

    2. Download the CTS Verifier APK untuk versi Android yang akan diuji.

  2. Hubungkan DUT ke komputer Linux.

  3. Dari terminal di komputer Linux, instal CtsVerifier.apk di DUT:

    adb install -r -g CtsVerifier.apk

  4. Untuk Android 10 dan yang lebih baru, jalankan perintah berikut untuk memberikan izin kepada aplikasi untuk membuat laporan:

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow

  5. Untuk Android 11 dan yang lebih baru, jalankan perintah berikut untuk mengizinkan laporan disimpan di direktori yang ditentukan sendiri di direktori tingkat atas eksternal perangkat:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

  6. Untuk Android 13 dan yang lebih baru, jalankan perintah berikut untuk mengizinkan akses API pengujian untuk CTS Verifier:

    adb shell am compat enable ALLOW_TEST_API_ACCESS com.android.cts.verifier

  7. Untuk Android 14 dan yang lebih baru, jalankan perintah berikut untuk memberikan izin kepada aplikasi untuk mengaktifkan layar:

    adb shell appops set com.android.cts.verifier TURN_SCREEN_ON 0

  8. Untuk Android 17 dan yang lebih baru, jalankan perintah berikut untuk memberikan peran browser default ke CTS Verifier:

    adb shell 'cmd role add-role-holder --user $(am get-current-user) android.app.role.BROWSER com.android.cts.verifier'

  9. Pastikan tanggal dan waktu sistem DUT disetel dengan benar.

Menjalankan CTS Verifier

Luncurkan aplikasi CTS Verifier dengan mengetuk ikon CTS Verifier di DUT.

Ikon CTS Verifier di peluncur

Gambar 1. Ikon CTS Verifier.

Aplikasi ini menampilkan beberapa kumpulan pengujian yang tersedia untuk verifikasi manual.

Menu pengujian CTS Verifier

Gambar 2. Menu pengujian CTS Verifier.

Setiap pengujian berisi kumpulan elemen umum di bagian bawah layar.

Verifikasi kualitas video streaming

Gambar 3. Layar pengujian dengan elemen pengujian umum yang disorot.

  • Lulus (✓). Ketuk jika DUT memenuhi persyaratan pengujian sesuai petunjuk Info.
  • Info (?). Ketuk untuk menampilkan petunjuk pengujian. Juga muncul secara otomatis saat pengujian dibuka untuk pertama kalinya.
  • Gagal (!). Ketuk jika DUT tidak memenuhi persyaratan pengujian sesuai petunjuk Info.

Beberapa pengujian, seperti mode aksesori USB dan pengujian kalibrasi kamera, memerlukan penyiapan dan petunjuk pengujian tambahan seperti yang dijelaskan di bagian berikut.

Menguji mode aksesori USB untuk 8.0 dan yang lebih baru

Uji aksesori USB CTS Verifier

Gambar 4. Prosedur pengujian aksesori USB untuk 8.0 dan yang lebih baru.

Uji aksesori USB CTS Verifier

Gambar 5. Menguji mode aksesori USB untuk 8.0 dan yang lebih baru.

Menguji mode aksesori USB untuk 7.x dan yang lebih lama

Pengujian Aksesori USB memerlukan komputer Linux untuk menjalankan program mesin desktop USB (host).

  1. Hubungkan DUT ke komputer Linux.

  2. Di komputer, jalankan program cts-usb-accessory dari paket CTS Verifier:

    ./cts-usb-accessory

  3. Tunggu hingga dialog muncul di DUT, lalu ketuk OK.

    Uji aksesori USB CTS Verifier

    Gambar 6. Pengujian aksesori USB

  4. Buka Pengujian Aksesori USB di aplikasi CTS Verifier di DUT.

  5. Di komputer, tinjau output dari konsol. Contoh output:

    CTS USB Accessory Tester
Found possible Android device (413c:2106) - attempting to switch to accessory
mode...
Failed to read protocol versionfigure3
Found Android device in accessory mode (18d1:2d01)...
[RECV] Message from Android device #0
[SENT] Message from Android accessory #0
[RECV] Message from Android device #1
[SENT] Message from Android accessory #1
[RECV] Message from Android device #2
[SENT] Message from Android accessory #2
[RECV] Message from Android device #3
[SENT] Message from Android accessory #3
[RECV] Message from Android device #4
[SENT] Message from Android accessory #4
[RECV] Message from Android device #5
[SENT] Message from Android accessory #5
[RECV] Message from Android device #6
[SENT] Message from Android accessory #6
[RECV] Message from Android device #7
[SENT] Message from Android accessory #7
[RECV] Message from Android device #8
[SENT] Message from Android accessory #8
[RECV] Message from Android device #9
[SENT] Message from Android accessory #9
[RECV] Message from Android device #10
[SENT] Message from Android accessory #10

Mengalibrasi ruang pandang kamera

Gunakan prosedur kalibrasi ruang pandang untuk menentukan ruang pandang perangkat dengan cepat dan akurasi sedang.

  1. Siapkan lingkungan pengujian:

    1. Cetak file target PDF pola kalibrasi pada kertas ukuran 11" x 17" atau A3.
    2. Pasang pola cetak pada penyangga yang kaku.

    3. Orientasikan perangkat kamera dan target cetak seperti yang ditunjukkan dalam diagram berikut:

      Target cetak kamera

      Gambar 7. Target cetak kamera.

  2. Tetapkan lebar target:

    1. Ukur jarak (dalam sentimeter) antara garis utuh pada pola target untuk memperhitungkan ketidakakuratan pencetakan (~38 cm).
    2. Mulai aplikasi kalibrasi.
    3. Tekan tombol penyiapan dan pilih Jarak penanda.
    4. Ukur dan masukkan jarak ke pola target (~100 cm).
    5. Tekan tombol kembali untuk kembali ke pratinjau kalibrasi.

  3. Pastikan perangkat dan target ditempatkan seperti yang ditunjukkan pada gambar dan jarak yang benar telah dimasukkan ke dalam dialog penyiapan. Pratinjau menampilkan gambar dengan garis vertikal yang ditumpangkan di atasnya; garis ini harus sejajar dengan garis tengah pola target. Kisi transparan dapat digunakan dengan garis vertikal lainnya untuk memverifikasi bahwa sumbu optik ortogonal terhadap target.

  4. Jalankan pengujian kalibrasi:

    1. Pilih resolusi gambar (menggunakan pemilih di kiri bawah), lalu ketuk layar untuk mengambil foto. Pengujian akan memasuki mode kalibrasi dan menampilkan foto dengan dua garis vertikal yang ditumpangkan di atas gambar.
    2. Tentukan akurasi:
    3. Jika garis sejajar dengan garis vertikal pada pola target dalam beberapa sentimeter, ruang pandang yang dilaporkan untuk resolusi yang dipilih akan akurat.
    4. Jika garis tidak sejajar, ruang pandang yang dilaporkan tidak akurat. Untuk memperbaikinya, sesuaikan penggeser di bagian bawah layar hingga overlay sejajar dengan pola target sedekat mungkin. Saat overlay dan gambar pola target sejajar, ruang pandang yang ditampilkan adalah perkiraan yang mendekati nilai yang benar. Ruang pandang yang dilaporkan harus berada dalam jarak 3 derajat dari nilai kalibrasi.
    5. Tekan tombol kembali dan ulangi pengujian kalibrasi untuk semua resolusi gambar yang didukung oleh DUT.

Menjalankan CTS Verifier untuk mode alternatif

Mulai rilis CTS 10 R6 dan CTS 11 R2, CTS Verifier mendukung pengujian yang diperlukan untuk perangkat dengan mode alternatif, atau untuk perangkat dengan lebih dari satu mode layar.

Di bagian atas tampilan daftar utama di CTS Verifier, tombol ditampilkan untuk memungkinkan pengguna beralih antara mode tampilan yang dibentangkan dan dilipat. CTS Verifier akan menampilkan pengujian yang diperlukan untuk mode tampilan yang dipilih. Untuk menjalankan mode alternatif di CTS Verifier, pengguna harus mengalihkan tombol ke mode tampilan yang sesuai dan menjalankan daftar pengujian yang ditampilkan.

Tombol CTS-V

Gambar 8. Tombol pengalihan CTS Verifier.

Hasil pengujian yang dilipat akan dicatat dalam laporan yang sama dengan pengujian yang dibentangkan. Untuk mengidentifikasi setiap hasil pengujian dari set pengujian, akhiran ditambahkan ke setiap nama pengujian dalam mode dilipat.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Mengekspor hasil

Setelah semua pengujian selesai, Anda dapat menyimpan hasilnya sebagai laporan dan mendownloadnya ke komputer. Nama laporan otomatis diberi stempel waktu berdasarkan waktu sistem DUT.

  1. Untuk menyimpan hasil pengujian, ketuk ikon simpan (disk) di bagian atas daftar kategori pengujian.

  2. Tunggu dialog yang menampilkan jalur ke laporan yang disimpan (misalnya, /sdcard/verifierReports/ctsVerifierReport-date-time.zip), lalu catat jalur tersebut.

  3. Hubungkan DUT ke komputer Linux.

  4. Dari penginstalan Android SDK di komputer Linux, download laporan dari perangkat terhubung menggunakan adb shell content read atau adb pull CTSVerifierReportPath.

    • Untuk Android 7.x dan yang lebih baru, download semua laporan menggunakan perintah berikut:

      adb pull /sdcard/verifierReports

    • Untuk Android 6.0 dan yang lebih lama, download semua laporan menggunakan perintah berikut:

      adb pull /mnt/sdcard/ctsVerifierReports/

    • Untuk Android 10 dan yang lebih baru, yang menerapkan Automotive dan perangkat yang berjalan sebagai pengguna sekunder, download laporan terbaru menggunakan perintah berikut:

      adb shell content read --user <var>CURRENT_USER</var> --uri content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip

      Untuk mencantumkan semua laporan yang tersedia di perangkat terhubung:

        adb shell content query --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports
  ```

To download a report from the list, you can specify the Row ID or
filename. For example:

```shell
  adb shell content read --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
  ```

```shell
  adb shell content read --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports ctsVerifierReport-date-time.zip > report.zip
  ```

  5. Untuk menghapus hasil lulus atau gagal, pilih hasil di aplikasi CTS Verifier dan pilih Menu > Hapus.