Hasil pengujian CTS ditempatkan dalam file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda telah mem-build CTS sendiri, CTS_ROOT akan menyerupai
out/host/linux-x86/cts, tetapi berbeda menurut platform. Ini mencerminkan jalur tempat
Anda telah mengompresi CTS resmi bawaan
yang didownload dari situs ini.
Di dalam zip, file test_result.xml berisi hasil sebenarnya.
Menampilkan hasil Android 10 dan yang lebih baru
File test_result.html ada dalam arsip zip, Anda dapat langsung membukanya di browser web yang kompatibel dengan HTML5
Menampilkan hasil pra-Android 10
Buka file test_result.xml di browser web yang kompatibel dengan HTML5 untuk melihat hasil pengujian
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome,
ubah konfigurasi browser Anda
untuk mengaktifkan tanda command line --allow-file-access-from-files.
Membaca hasil pengujian
Detail hasil pengujian bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan yang lebih lama
- CTS v2 untuk Android 7.0 dan yang lebih baru
Informasi perangkat
Di CTS v1 dan yang lebih lama, pilih Informasi Perangkat (link di atas Ringkasan Pengujian) untuk melihat detail tentang perangkat, firmware (merek, model, build firmware, platform), dan hardware perangkat (resolusi layar, keypad, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan uji
Bagian Ringkasan Pengujian memberikan detail rencana pengujian yang dijalankan, seperti nama rencana CTS dan waktu mulai serta waktu berakhir eksekusi. Laporan ini juga menampilkan ringkasan agregat jumlah pengujian yang lulus, gagal, habis waktunya, atau tidak dapat dijalankan.
Ringkasan pengujian contoh CTS Android 10
Gambar 1: Ringkasan pengujian contoh CTS Android 10
Ringkasan pengujian contoh CTS v2
Gambar 2: Ringkasan pengujian contoh CTS v2
Ringkasan pengujian contoh CTS v1
Gambar 3: Ringkasan pengujian contoh CTS v1
Laporan pengujian
Bagian berikutnya, laporan pengujian CTS, memberikan ringkasan pengujian yang lulus per paket.
Hal ini diikuti dengan detail pengujian sebenarnya yang dijalankan. Laporan mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Status ini menunjukkan hasil eksekusi pengujian—lulus, gagal, waktu habis, atau tidak dieksekusi. Jika pengujian gagal, detail akan diberikan untuk membantu mendiagnosis penyebabnya.
Selain itu, pelacakan tumpukan kegagalan tersedia dalam file XML, tetapi tidak disertakan dalam laporan untuk memastikan kehematan—melihat file XML dengan editor teks akan memberikan detail kegagalan pengujian (telusuri tag [Test] yang sesuai dengan pengujian yang gagal dan cari tag [StackTrace] di dalamnya).
Menampilkan contoh laporan pengujian CTS v2
Gambar 4: Contoh laporan pengujian CTS v2
Menampilkan contoh laporan pengujian CTS v1
Gambar 5: Contoh laporan pengujian CTS v1
Meninjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang tidak lengkap dalam sesi pengujian tertentu, jalankan perintah 'list results'. Jumlah Modul Selesai dan Total Modul akan dicantumkan untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang sudah selesai vs. belum selesai, buka file test_result.xml dan baca nilai atribut "done" untuk setiap modul dalam laporan hasil. Modul dengan nilai done = "false" belum selesai dijalankan.
Memilah kegagalan pengujian
Gunakan saran berikut untuk melakukan triage kegagalan pengujian.
- Pastikan lingkungan CTS disiapkan dengan benar, jika pengujian gagal karena prasyarat yang salah. Hal ini mencakup lingkungan fisik, penyiapan komputer desktop, dan penyiapan perangkat Android.
- Verifikasi stabilitas perangkat, penyiapan pengujian, atau masalah lingkungan, jika pengujian tampak terlalu tidak stabil.
- Coba lagi pengujian secara terpisah jika masih gagal.
- Periksa faktor eksternal yang menyebabkan kegagalan pengujian, seperti:
- Penyiapan lingkungan. Misalnya, penyiapan mesin desktop yang salah dikonfigurasi dapat menjadi penyebab kegagalan pengujian yang terjadi pada semua Perangkat yang Diuji (DUT) (termasuk perangkat referensi).
- Dependensi eksternal. Misalnya, jika pengujian gagal di semua perangkat di beberapa situs mulai dari titik waktu tertentu, URL yang buruk mungkin merupakan penyebabnya.
- Jika DUT tidak menyertakan patch keamanan, kegagalan pengujian keamanannya dapat diperkirakan.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan gagal.
- Analisis pernyataan, log, bugreport, dan sumber CTS. Untuk HostTest, pernyataan dan log dapat sangat umum sehingga sebaiknya periksa dan lampirkan logcat perangkat juga.
- Kirim patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Menyimpan hasil parsial
Tradefed tidak menyimpan hasil pengujian sebagian saat pemanggilan pengujian gagal.
Jika Tradefed tidak menghasilkan hasil pengujian apa pun, hal ini menyiratkan bahwa masalah serius telah terjadi selama pengujian berjalan, sehingga membuat hasil pengujian tidak dapat dipercaya. Hasil sebagian dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.