Menjalankan pengujian otomatis (Android 11 atau yang lebih baru)

Ada dua opsi untuk menjalankan pengujian otomatis CTS:

  • Trade Federation adalah framework pengujian dan aplikasi yang memungkinkan Anda menjalankan pengujian dari command line. Pada dasarnya, framework memungkinkan Anda memberi anotasi pada pengujian menggunakan anotasi @Test dan aplikasi menemukan serta menjalankan pengujian tersebut.

  • OmniLab Android Test Station adalah aplikasi yang memungkinkan Anda menjalankan pengujian di GUI.

Halaman ini menjelaskan cara menjalankan pengujian otomatis menggunakan Trade Federation. Untuk mendapatkan petunjuk tentang cara menjalankan pengujian menggunakan OmniLab Android Test Harness, lihat OmniLab Android Test Station.

Menjalankan semua pengujian CTS otomatis

Trade Federation berisi konsol CTS, antarmuka command-line untuk menjalankan pengujian. Untuk menjalankan seluruh rangkaian pengujian CTS otomatis:

  1. Pastikan Anda telah mengikuti petunjuk di Menyiapkan pengujian otomatis CTS.
  2. Di workstation pengujian, luncurkan konsol CTS dengan menjalankan skrip cts-tradefed dari folder tempat paket CTS telah diekstrak:

    ./android-cts/tools/cts-tradefed
    

    Konsol CTS menampilkan kursor agar Anda dapat mengetik perintah CTS (cts-tradefed >).

  3. Paket pengujian cts berisi semua pengujian CTS otomatis. Jalankan perintah berikut untuk menjalankan rencana pengujian cts:

    run cts
    

    Pengujian CTS otomatis dijalankan. Perhatikan hal berikut:

    • Android 13 dan yang lebih tinggi mendukung pengujian multiperangkat. Pengujian ini berjalan secara otomatis hanya saat sharding digunakan. Untuk mengetahui informasi lebih lanjut tentang sharding, lihat Meningkatkan waktu eksekusi pengujian. Jika Anda ingin menjalankan pengujian ini secara manual, lihat Menjalankan pengujian multiperangkat.

    • Setiap kali menjalankan CTS, tekan ctrl+c untuk menghentikan konsol CTS yang ada lalu jalankan ulang konsol CTS.

    • Anda tidak dapat menjalankan beberapa versi CTS di satu host karena masing-masing dibuka dengan server kode lokasi terbuka (OLC) yang ada.

  4. Melihat hasil pengujian. Untuk mengetahui informasi selengkapnya, lihat Menafsirkan hasil CTS.

  5. Jika ini adalah pengujian pertama Anda, mungkin ada pengujian yang gagal karena masalah di luar kendali Anda. Misalnya, koneksi jaringan mungkin lambat atau sinyal GPS mungkin lemah. Jalankan ulang (coba lagi) pengujian hingga semua modul pengujian selesai dan jumlah kegagalan pengujian sama antara dua sesi coba lagi terakhir:

    run retry --retry session_number`
    
  6. Setelah kegagalan pengujian konsisten di seluruh percobaan ulang, fokuslah untuk men-debug pengujian yang gagal lainnya. Untuk mengetahui informasi tentang pemecahan masalah hasil pengujian, lihat Menyeleksi kegagalan pengujian dan Memecahkan masalah pengujian CTS.

Menjalankan CTS untuk perangkat multi-layar

Jika perangkat Anda menjalankan Android 11 atau 12, dan perangkat Anda memiliki beberapa layar, Anda harus menjalankan rencana pengujian cts-foldable secara terpisah:

run cts-foldable

Kasus pengujian yang lulus atau gagal untuk mode layar alternatif ditambahkan dengan nilai dari display_mode, misalnya, testcase1[display_mode=0].

Menjalankan pengujian multiperangkat (Android 15 atau yang lebih rendah)

Jalankan perintah berikut untuk menjalankan rencana pengujian cts-multidevice:

run cts-multidevice

Menjalankan rencana pengujian individual

Daripada menjalankan semua rencana pengujian sekaligus, Anda dapat menjalankan rencana pengujian satu per satu. Opsi ini berguna untuk menghemat waktu dan berfokus pada serangkaian pengujian tertentu. Untuk menjalankan rencana pengujian individual:

  1. Identifikasi nama rencana pengujian yang ingin Anda jalankan dengan menjalankan perintah list modules.

  2. Jalankan rencana pengujian:

    run cts --plan test_module_or_plan_name
    

Meningkatkan waktu eksekusi pengujian

Jika ingin meningkatkan waktu eksekusi pengujian, Anda dapat membagi pengujian di beberapa perangkat. Sharding mengharuskan host menghubungkan minimal dua perangkat, tetapi enam perangkat atau lebih direkomendasikan untuk efisiensi.

Untuk membagi pengujian di Android 11 atau yang lebih baru, jalankan:

run cts --shard-count number_of_shards

Selain itu, sebelum menjalankan pengujian untuk validasi, Anda dapat meningkatkan waktu eksekusi pengujian dengan menggunakan perintah run cts-dev CTS. Perintah ini melewati prasyarat, pengumpulan informasi perangkat, dan semua pemeriksa status sistem. Selain itu, pengujian hanya dijalankan pada satu ABI.