Ada dua opsi untuk menjalankan pengujian otomatis CTS:
Trade Federation adalah framework pengujian dan aplikasi yang memungkinkan Anda menjalankan pengujian dari command line. Pada dasarnya, framework memungkinkan Anda memberi anotasi pada pengujian menggunakan anotasi
@Test
dan aplikasi menemukan serta menjalankan pengujian tersebut.OmniLab Android Test Station adalah aplikasi yang memungkinkan Anda menjalankan pengujian di GUI.
Halaman ini menjelaskan cara menjalankan pengujian otomatis menggunakan Trade Federation. Untuk mendapatkan petunjuk tentang cara menjalankan pengujian menggunakan OmniLab Android Test Harness, lihat OmniLab Android Test Station.
Menjalankan semua pengujian CTS otomatis
Trade Federation berisi konsol CTS, antarmuka command-line untuk menjalankan pengujian. Untuk menjalankan seluruh rangkaian pengujian CTS otomatis:
- Pastikan Anda telah mengikuti petunjuk di Menyiapkan pengujian otomatis CTS.
Di workstation pengujian, luncurkan konsol CTS dengan menjalankan skrip
cts-tradefed
dari folder tempat paket CTS telah diekstrak:./android-cts/tools/cts-tradefed
Konsol CTS menampilkan kursor agar Anda dapat mengetik perintah CTS (
cts-tradefed >
).Paket pengujian
cts
berisi semua pengujian CTS otomatis. Jalankan perintah berikut untuk menjalankan rencana pengujiancts
:run cts
Pengujian CTS otomatis dijalankan. Perhatikan hal berikut:
Android 13 dan yang lebih tinggi mendukung pengujian multiperangkat. Pengujian ini berjalan secara otomatis hanya saat sharding digunakan. Untuk mengetahui informasi lebih lanjut tentang sharding, lihat Meningkatkan waktu eksekusi pengujian. Jika Anda ingin menjalankan pengujian ini secara manual, lihat Menjalankan pengujian multiperangkat.
Setiap kali menjalankan CTS, tekan ctrl+c untuk menghentikan konsol CTS yang ada lalu jalankan ulang konsol CTS.
Anda tidak dapat menjalankan beberapa versi CTS di satu host karena masing-masing dibuka dengan server kode lokasi terbuka (OLC) yang ada.
Melihat hasil pengujian. Untuk mengetahui informasi selengkapnya, lihat Menafsirkan hasil CTS.
Jika ini adalah pengujian pertama Anda, mungkin ada pengujian yang gagal karena masalah di luar kendali Anda. Misalnya, koneksi jaringan mungkin lambat atau sinyal GPS mungkin lemah. Jalankan ulang (coba lagi) pengujian hingga semua modul pengujian selesai dan jumlah kegagalan pengujian sama antara dua sesi coba lagi terakhir:
run retry --retry session_number`
Setelah kegagalan pengujian konsisten di seluruh percobaan ulang, fokuslah untuk men-debug pengujian yang gagal lainnya. Untuk mengetahui informasi tentang pemecahan masalah hasil pengujian, lihat Menyeleksi kegagalan pengujian dan Memecahkan masalah pengujian CTS.
Menjalankan CTS untuk perangkat multi-layar
Jika perangkat Anda menjalankan Android 11 atau 12, dan perangkat Anda memiliki beberapa
layar, Anda harus menjalankan rencana pengujian cts-foldable
secara terpisah:
run cts-foldable
Kasus pengujian yang lulus atau gagal untuk mode layar alternatif ditambahkan dengan
nilai dari display_mode
, misalnya, testcase1[display_mode=0]
.
Menjalankan pengujian multiperangkat (Android 15 atau yang lebih rendah)
Jalankan perintah berikut untuk menjalankan rencana pengujian cts-multidevice
:
run cts-multidevice
Menjalankan rencana pengujian individual
Daripada menjalankan semua rencana pengujian sekaligus, Anda dapat menjalankan rencana pengujian satu per satu. Opsi ini berguna untuk menghemat waktu dan berfokus pada serangkaian pengujian tertentu. Untuk menjalankan rencana pengujian individual:
Identifikasi nama rencana pengujian yang ingin Anda jalankan dengan menjalankan perintah
list modules
.Jalankan rencana pengujian:
run cts --plan test_module_or_plan_name
Meningkatkan waktu eksekusi pengujian
Jika ingin meningkatkan waktu eksekusi pengujian, Anda dapat membagi pengujian di beberapa perangkat. Sharding mengharuskan host menghubungkan minimal dua perangkat, tetapi enam perangkat atau lebih direkomendasikan untuk efisiensi.
Untuk membagi pengujian di Android 11 atau yang lebih baru, jalankan:
run cts --shard-count number_of_shards
Selain itu, sebelum menjalankan pengujian untuk validasi, Anda dapat meningkatkan waktu eksekusi pengujian dengan menggunakan perintah run cts-dev
CTS. Perintah ini melewati
prasyarat, pengumpulan informasi perangkat, dan semua pemeriksa status sistem.
Selain itu, pengujian hanya dijalankan pada satu ABI.