Hasil pengujian CTS ditempatkan dalam file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda telah membuat CTS sendiri, CTS_ROOT menyerupai
out/host/linux-x86/cts tetapi berbeda menurut platform. Ini mencerminkan jalur tempat Anda mengekstrak CTS resmi pra-build yang didownload dari situs ini.
Di dalam zip, file test_result.xml berisi hasil sebenarnya.
Menampilkan hasil Android 10 dan yang lebih baru
File test_result.html ada dalam arsip zip, Anda dapat langsung membukanya di browser web yang kompatibel dengan HTML5
Menampilkan hasil Pre-Android 10
Buka file test_result.xml di browser web yang kompatibel dengan HTML5 untuk melihat hasil pengujian
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome, ubah konfigurasi browser Anda untuk mengaktifkan tanda command line --allow-file-access-from-files.
Membaca hasil pengujian
Detail hasil pengujian bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan yang lebih lama
- CTS v2 untuk Android 7.0 dan yang lebih baru
Informasi perangkat
Di CTS v1 dan yang lebih lama, pilih Informasi Perangkat (link di atas Ringkasan Pengujian) untuk melihat detail tentang perangkat, firmware (pembuat, model, build firmware, platform), dan hardware perangkat (resolusi layar, keypad, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan uji
Bagian Ringkasan Pengujian memberikan detail rencana pengujian yang dijalankan, seperti nama rencana CTS dan waktu mulai dan berakhir eksekusi. Laporan ini juga menyajikan ringkasan gabungan jumlah pengujian yang lulus, gagal, habis waktunya, atau tidak dapat dieksekusi.
Ringkasan pengujian contoh CTS Android 10
Gambar 1: Ringkasan pengujian sampel CTS Android 10
Ringkasan pengujian contoh CTS v2
Gambar 2: Ringkasan pengujian contoh CTS v2
Ringkasan pengujian contoh CTS v1
Gambar 3: Ringkasan pengujian sampel CTS v1
Laporan pengujian
Bagian berikutnya, laporan pengujian CTS, memberikan ringkasan pengujian yang lulus per paket.
Hal ini diikuti dengan detail pengujian sebenarnya yang dijalankan. Laporan mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Bagian ini menampilkan hasil eksekusi pengujian—lulus, gagal, waktu habis, atau tidak dieksekusi. Jika terjadi kegagalan pengujian, detail akan diberikan untuk membantu mendiagnosis penyebabnya.
Selain itu, stack trace kegagalan tersedia dalam file XML, tetapi tidak disertakan dalam laporan untuk memastikan ringkasnya laporan. Melihat file XML dengan editor teks akan memberikan detail kegagalan pengujian (cari tag [Test] yang sesuai dengan pengujian yang gagal dan cari tag [StackTrace] di dalamnya).
Menampilkan contoh laporan pengujian CTS v2
Gambar 4: Contoh laporan pengujian CTS v2
Menampilkan contoh laporan pengujian CTS v1
Gambar 5: Contoh laporan pengujian CTS v1
Tinjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang belum selesai dalam sesi pengujian tertentu, jalankan perintah 'list results'. Jumlah Modul yang Selesai dan Total Modul dicantumkan untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang selesai dan belum selesai, buka file test_result.xml dan baca nilai atribut "done" untuk setiap modul dalam laporan hasil. Modul dengan nilai selesai = "false" belum selesai dijalankan.
Menyeleksi kegagalan pengujian
Gunakan saran berikut untuk memilah kegagalan pengujian.
- Pastikan lingkungan CTS Anda disiapkan dengan benar, jika pengujian gagal karena prasyarat yang salah. Hal ini mencakup lingkungan fisik, penyiapan mesin desktop, dan penyiapan perangkat Android.
- Verifikasi stabilitas perangkat, penyiapan pengujian, atau masalah lingkungan, jika pengujian tampak sangat tidak stabil.
- Coba lagi pengujian secara terpisah jika masih gagal.
- Periksa faktor eksternal yang menyebabkan kegagalan pengujian, seperti:
- Penyiapan lingkungan. Misalnya, konfigurasi yang salah pada penyiapan mesin desktop dapat menjadi penyebab kegagalan pengujian yang terjadi di semua Perangkat yang Sedang Diuji (DUT) (termasuk perangkat referensi).
- Dependensi eksternal. Misalnya, jika pengujian gagal di semua perangkat di beberapa situs yang dimulai pada titik waktu tertentu, kemungkinan URL yang buruk menjadi penyebabnya.
- Jika DUT tidak menyertakan patch keamanan, kegagalan pengujian keamanannya sudah diperkirakan.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan gagal.
- Analisis pernyataan, log, laporan bug, dan sumber CTS. Untuk HostTest, pernyataan dan log bisa sangat umum sehingga akan sangat membantu jika Anda juga memeriksa dan melampirkan logcat perangkat.
- Kirim patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Menyimpan hasil parsial
Tradefed tidak menyimpan hasil pengujian parsial saat pemanggilan pengujian gagal.
Jika Tradefed tidak menghasilkan hasil pengujian apa pun, berarti masalah serius telah terjadi selama menjalankan pengujian, sehingga hasil pengujian tidak dapat dipercaya. Hasil sebagian dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.