Menggunakan Pemverifikasi CTS

Android Compatibility Test Suite Verifier (CTS Verifier) ​​melengkapi Compatibility Test Suite (CTS). Sementara CTS memeriksa API dan fungsi yang dapat diotomatisasi, CTS Verifier menyediakan pengujian untuk API dan fungsi yang tidak dapat diuji pada perangkat stasioner tanpa input manual, seperti kualitas audio, layar sentuh, akselerometer, dan kamera.

Persyaratan

Sebelum menjalankan CTS Verifier, pastikan Anda memiliki peralatan berikut:

  • Perangkat Android yang telah memverifikasi kompatibilitas Android API dengan berhasil melewati CTS. Ini adalah perangkat yang sedang diuji (DUT).
  • Komputer Linux dengan port yang kompatibel dengan USB 2.0. Semua koneksi ke DUT melalui port ini.
  • Perangkat Android kedua dengan implementasi Bluetooth, Wi-Fi direct, dan NFC host card emulation (HCE) yang kompatibel.
  • Router Wi-Fi yang dikonfigurasi dengan nama titik akses dan kata sandi. Router harus memiliki kemampuan untuk memutuskan sambungan dari internet, tetapi tidak dimatikan.

Persyaratan UICC untuk Tes NFC

CTS Verifier memiliki kasus uji NFC berikut:

  • Field-off (menggunakan data transaksi dari 0x54)
  • De-select (menggunakan data transaksi dari 0x52)
  • Perintah HCI (0025000000) (menggunakan data transaksi dari 0x02)

Pengujian peristiwa transaksi memerlukan dua perangkat, salah satunya harus memiliki SecureElement UICC dengan aturan akses berikut:

  • CtsVerifier APK hash: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
  • Pengenal Aplikasi Resmi (AID) untuk akses acara NFC: 0xA000000476416E64726F696443545341

Di sisi emulator, kami berharap peristiwa transaksi mendorong aktivitas terkait ke latar depan.

Mempersiapkan

Ubah mode navigasi sistem perangkat uji ke mode tiga tombol sebagai berikut:

  1. Buka Pengaturan.
  2. Arahkan ke Sistem > Gerakan > Navigasi Sistem .
  3. Pilih mode navigasi berbasis tombol apa saja, mode tiga tombol lebih disukai, jika tersedia.

Untuk menyiapkan lingkungan pengujian CTS Verifier:

  1. Di komputer Linux:

    • Jalankan perintah berikut sebelum menginstal CTS Verifier untuk mengizinkan akses ke antarmuka non-SDK.

      adb shell settings put global hidden_api_policy 1
      
    • Instal Android Studio .

    • Unduh APK Verifier CTS untuk versi Android yang akan diuji.

  2. Hubungkan DUT ke komputer Linux.

  3. Dari terminal di komputer Linux, instal CtsVerifier.apk di DUT.

    adb install -r -g CtsVerifier.apk
    
  4. Untuk Android 10 dan lebih tinggi, jalankan perintah berikut untuk memberikan izin kepada aplikasi untuk membuat laporan.

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow
    
  5. Untuk Android 11 dan yang lebih tinggi, jalankan perintah berikut untuk mengizinkan laporan disimpan dalam direktori yang ditentukan sendiri di bawah direktori tingkat atas eksternal perangkat.

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0
    
  6. Pastikan DUT memiliki data sistem dan waktu yang disetel dengan benar.

Jalankan Pemverifikasi CTS

Luncurkan aplikasi CTS Verifier dengan mengetuk ikon CTS Verifier pada DUT.

Ikon Pemverifikasi CTS di peluncur

Gambar 1. Ikon Verifikator CTS

Aplikasi ini menampilkan beberapa set tes yang tersedia untuk verifikasi manual.

Menu tes CTS Verifier

Gambar 2. Menu pengujian CTS Verifier

Setiap tes berisi satu set elemen umum di bagian bawah layar.

Pemverifikasi kualitas video streaming

Gambar 3. Layar uji dengan elemen uji umum yang disorot

  • Lulus (✓). Ketuk jika DUT memenuhi persyaratan pengujian sesuai petunjuk Info.
  • Informasi (?). Ketuk untuk menampilkan petunjuk pengujian. Juga muncul secara otomatis saat pertama kali tes dibuka.
  • Gagal (!). Ketuk jika DUT tidak memenuhi persyaratan pengujian sesuai petunjuk Info.

Beberapa pengujian, seperti mode aksesori USB dan uji kalibrasi kamera, memerlukan pengaturan pengujian tambahan dan instruksi seperti yang dijelaskan di bagian berikut.

Uji mode aksesori USB untuk 8.0 dan lebih tinggi

Tes aksesori usb Verifier CTS

Gambar 4. Prosedur uji aksesori USB untuk versi 8.0 ke atas

Tes aksesori usb Verifier CTS

Gambar 5. Menguji mode aksesori USB untuk 8.0 dan di atasnya

Uji mode aksesori USB untuk 7.x dan lebih rendah

Tes Aksesori USB memerlukan komputer Linux untuk menjalankan program mesin desktop USB (host).

  1. Hubungkan DUT ke komputer Linux.
  2. Di komputer, jalankan program cts-usb-accessory dari paket CTS Verifier:

    ./cts-usb-accessory
  3. Tunggu hingga muncul pesan popup pada DUT, lalu pilih OK .
    Tes aksesori usb Verifier CTS

    Gambar 6. Tes aksesori USB

  4. Pergi ke USB Accessory Test di aplikasi CTS Verifier di DUT.

  5. Di komputer, tinjau output dari konsol. Contoh keluaran:

    CTS USB Accessory Tester
    Found possible Android device (413c:2106) - attempting to switch to accessory
    mode...
    Failed to read protocol versionfigure3
    Found Android device in accessory mode (18d1:2d01)...
    [RECV] Message from Android device #0
    [SENT] Message from Android accessory #0
    [RECV] Message from Android device #1
    [SENT] Message from Android accessory #1
    [RECV] Message from Android device #2
    [SENT] Message from Android accessory #2
    [RECV] Message from Android device #3
    [SENT] Message from Android accessory #3
    [RECV] Message from Android device #4
    [SENT] Message from Android accessory #4
    [RECV] Message from Android device #5
    [SENT] Message from Android accessory #5
    [RECV] Message from Android device #6
    [SENT] Message from Android accessory #6
    [RECV] Message from Android device #7
    [SENT] Message from Android accessory #7
    [RECV] Message from Android device #8
    [SENT] Message from Android accessory #8
    [RECV] Message from Android device #9
    [SENT] Message from Android accessory #9
    [RECV] Message from Android device #10
    [SENT] Message from Android accessory #10
    

Kalibrasi bidang pandang kamera

Gunakan prosedur kalibrasi bidang pandang untuk dengan cepat menentukan bidang pandang perangkat dengan akurasi sedang.

  1. Siapkan lingkungan pengujian:

    1. Cetak file target kalibrasi-pattern.pdf pada kertas ukuran 11” x 17” atau A3.
    2. Pasang pola yang dicetak pada alas yang kaku.
    3. Arahkan perangkat kamera dan target tercetak seperti yang ditunjukkan dalam diagram berikut.
      Target tercetak kamera

      Gambar 7. Target tercetak kamera

  2. Tetapkan lebar target:

    1. Ukur jarak (dalam sentimeter) antara garis padat pada pola target untuk memperhitungkan ketidakakuratan pencetakan (~38 cm).
    2. Mulai aplikasi kalibrasi.
    3. Tekan tombol pengaturan dan pilih Jarak penanda .
    4. Ukur dan masukkan jarak ke pola target (~100 cm).
    5. Tekan tombol kembali untuk kembali ke pratinjau kalibrasi.
  3. Pastikan perangkat dan target ditempatkan seperti yang ditunjukkan pada gambar dan jarak yang benar telah dimasukkan ke dalam dialog pengaturan. Pratinjau menampilkan gambar dengan garis vertikal di atasnya; garis ini harus sejajar dengan garis tengah pola target. Kisi transparan dapat digunakan dengan garis vertikal lainnya untuk memastikan bahwa sumbu optik ortogonal terhadap target.

  4. Jalankan uji kalibrasi:

    1. Pilih resolusi gambar (menggunakan pemilih di kiri bawah), lalu ketuk layar untuk mengambil foto. Tes memasuki mode kalibrasi dan menampilkan foto dengan dua garis vertikal yang dihamparkan ke gambar.
    2. Tentukan akurasi:
      • Jika garis sejajar dengan garis vertikal pada pola target dalam beberapa sentimeter, bidang pandang yang dilaporkan untuk hasil yang dipilih adalah akurat.
      • Jika garis tidak sejajar, bidang pandang yang dilaporkan tidak akurat. Untuk memperbaikinya, sesuaikan penggeser di bagian bawah layar hingga hamparan sejajar dengan pola target sedekat mungkin. Saat overlay dan gambar pola target disejajarkan, bidang tampilan yang ditampilkan adalah perkiraan yang mendekati nilai yang benar. Bidang pandang yang dilaporkan harus berada dalam +/-2 derajat dari nilai kalibrasi.
    3. Tekan tombol kembali dan ulangi uji kalibrasi untuk semua resolusi gambar yang didukung oleh DUT.

Jalankan Verifikator CTS untuk Mode Alternatif

Memulai rilis CTS 10 R6 dan CTS 11 R2, CTS Verifier mendukung pengujian yang diperlukan untuk perangkat dengan mode alternatif, atau untuk perangkat dengan lebih dari satu mode layar.

Di bagian atas tampilan daftar utama di CTS Verifier, sebuah tombol ditampilkan untuk memungkinkan pengguna beralih antara mode tampilan terbuka dan terlipat. CTS Verifier akan menampilkan pengujian yang diperlukan untuk mode tampilan yang dipilih. Untuk menjalankan mode alternatif di CTS Verifier, seseorang harus mengganti tombol ke mode tampilan yang sesuai dan menjalankan daftar tes yang ditampilkan.

Sakelar sakelar CTS-V

Hasil tes terlipat akan dicatat dalam laporan yang sama dengan tes yang tidak dilipat. Untuk mengidentifikasi setiap hasil tes dari mana set tes berasal, sufiks ditambahkan ke setiap nama tes di bawah mode terlipat.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Hasil ekspor

Setelah semua tes selesai, Anda dapat menyimpan hasilnya sebagai laporan dan mengunduhnya ke komputer. Nama laporan secara otomatis diberi stempel waktu berdasarkan waktu sistem DUT.

  1. Untuk menyimpan hasil pengujian Anda, ketuk ikon simpan (disk) di bagian atas daftar kategori pengujian.

  2. Tunggu pesan popup yang menampilkan jalur file ke laporan tersimpan (misalnya, /sdcard/verifierReports/ctsVerifierReport-date-time.zip ), lalu rekam jalurnya.

  3. Hubungkan DUT ke komputer Linux.

  4. Dari penginstalan Android SDK di komputer Linux, unduh laporan dari perangkat yang terhubung menggunakan adb shell content read atau adb pull CTSVerifierReportPath .

    • Untuk Android 7.x dan lebih tinggi, unduh semua laporan menggunakan perintah berikut:

      adb pull /sdcard/verifierReports
      
    • Untuk Android 6.0 dan yang lebih rendah, unduh semua laporan menggunakan perintah berikut:

      adb pull /mnt/sdcard/ctsVerifierReports/
      
    • Untuk Android 10 dan yang lebih tinggi, yang menerapkan Otomotif dan perangkat yang berjalan sebagai pengguna sekunder , unduh laporan terbaru menggunakan perintah berikut:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip
      

      Untuk membuat daftar semua laporan yang tersedia di perangkat yang terhubung:

      adb shell content query --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports
      

      Untuk mengunduh laporan dari daftar, Anda dapat menentukan ID Baris atau nama file. Sebagai contoh:

      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
      
      adb shell content read --user CURRENT_USER --uri
      
      content://com.android.cts.verifier.testresultsprovider/reports/ctsVerifierReport-date-time.zip >
      report.zip
      
  5. Untuk menghapus hasil lulus/gagal, pilih hasil di aplikasi CTS Verifier dan pilih Menu > Clear .