Menjalankan pengujian CTS otomatis (Android 11 atau yang lebih baru)

Ada dua opsi untuk menjalankan pengujian otomatis CTS:

  • Trade Federation adalah framework aplikasi dan pengujian yang memungkinkan Anda menjalankan pengujian dari command line. Pada dasarnya, framework memungkinkan Anda menganotasi pengujian menggunakan anotasi @Test dan aplikasi menemukan serta menjalankan pengujian tersebut.

  • OmniLab Android Test Station adalah aplikasi yang memungkinkan Anda menjalankan pengujian di GUI.

Halaman ini menjelaskan cara menjalankan pengujian otomatis menggunakan Trade Federation. Untuk mengetahui petunjuk cara menjalankan pengujian menggunakan OmniLab Android Test Harness, lihat OmniLab Android Test Station.

Menjalankan semua pengujian CTS otomatis

Trade Federation berisi konsol CTS, antarmuka command line untuk menjalankan pengujian. Untuk menjalankan seluruh rangkaian pengujian CTS otomatis:

  1. Pastikan Anda telah mengikuti petunjuk di Menyiapkan pengujian otomatis CTS.

  2. Di workstation pengujian, luncurkan konsol CTS dengan menjalankan skrip cts-tradefed dari folder tempat paket CTS diekstrak:

    ./android-cts/tools/cts-tradefed

    Konsol CTS menampilkan kursor untuk Anda mengetik perintah CTS (cts-tradefed >).

  3. Rencana pengujian cts berisi semua pengujian CTS otomatis. Jalankan perintah berikut untuk menjalankan rencana pengujian cts:

    run cts

    Pengujian CTS otomatis dijalankan. Perhatikan hal berikut:

    • Android 13 dan yang lebih baru mendukung pengujian multiperangkat. Pengujian ini berjalan secara otomatis hanya saat sharding digunakan. Untuk informasi selengkapnya tentang sharding, lihat Meningkatkan waktu eksekusi pengujian. Jika Anda ingin menjalankan pengujian ini secara manual, lihat Menjalankan pengujian multiperangkat.

    • Setiap kali menjalankan CTS, tekan ctrl+c untuk menghentikan konsol CTS yang ada, lalu jalankan kembali konsol CTS.

    • Anda tidak dapat menjalankan beberapa versi CTS di satu host karena setiap versi CTS akan terbuka dengan server kode lokasi terbuka (OLC) yang ada.

  4. Melihat hasil pengujian. Untuk mengetahui informasi selengkapnya, lihat Menafsirkan hasil CTS.

  5. Jika ini adalah pengujian pertama Anda, mungkin ada pengujian yang gagal karena masalah di luar kendali Anda. Misalnya, koneksi jaringan mungkin lambat atau sinyal GPS mungkin lemah. Jalankan ulang (coba lagi) pengujian hingga semua modul pengujian selesai dan jumlah kegagalan pengujian sama antara dua sesi percobaan ulang terakhir:

    run retry --retry session_number`

  6. Setelah kegagalan pengujian konsisten di seluruh percobaan ulang, fokuslah pada proses debug pengujian yang gagal. Untuk informasi tentang cara memecahkan masalah hasil pengujian, lihat Memilih kegagalan pengujian dan Memecahkan masalah pengujian CTS.

Menjalankan CTS untuk perangkat multilayar

Jika perangkat Anda menjalankan Android 11 atau 12, dan perangkat memiliki beberapa layar, Anda harus menjalankan rencana pengujian cts-foldable secara terpisah:

run cts-foldable

Kasus pengujian yang lulus atau gagal untuk mode layar alternatif ditambahkan dengan nilai dari display_mode, misalnya, testcase1[display_mode=0].

Menjalankan pengujian multiperangkat

Jalankan perintah berikut untuk menjalankan rencana pengujian cts-multidevice:

run cts-multidevice

Menjalankan setiap rencana pengujian

Daripada menjalankan semua rencana pengujian sekaligus, Anda dapat menjalankan setiap rencana pengujian. Opsi ini berguna untuk menghemat waktu dan berfokus pada kumpulan pengujian tertentu. Untuk menjalankan setiap rencana pengujian:

  1. Identifikasi nama rencana pengujian yang ingin Anda jalankan dengan menjalankan perintah list modules.

  2. Jalankan rencana pengujian:

    run cts --plan test_module_or_plan_name

Meningkatkan waktu eksekusi pengujian

Jika ingin meningkatkan waktu eksekusi pengujian, Anda dapat melakukan sharding pengujian di beberapa perangkat. Sharding mengharuskan host menghubungkan setidaknya dua perangkat, tetapi enam perangkat atau lebih direkomendasikan untuk efisiensi.

Untuk melakukan shard pengujian di Android 11 atau yang lebih baru, jalankan:

run cts --shard-count number_of_shards

Selain itu, sebelum menjalankan pengujian untuk validasi, Anda dapat meningkatkan waktu eksekusi pengujian menggunakan perintah run cts-dev CTS. Perintah ini melewati prasyarat, pengumpulan informasi perangkat, dan semua pemeriksa status sistem. Alat ini juga menjalankan pengujian hanya pada satu ABI.