Hasil tes CTS ditempatkan dalam file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda telah membuat CTS sendiri, CTS_ROOT mirip dengan out/host/linux-x86/cts tetapi berbeda berdasarkan platform. Ini mencerminkan jalur di mana Anda telah membuka kompresi CTS resmi bawaan yang diunduh dari situs ini.
Di dalam zip, file test_result.xml berisi hasil aktual.
Menampilkan Android 10 dan hasil yang lebih baru
File test_result.html ada di dalam arsip zip, Anda dapat langsung membukanya di browser web apa pun yang kompatibel dengan HTML5
Menampilkan hasil Pra-Android 10
Buka file test_result.xml di browser web apa pun yang kompatibel dengan HTML5 untuk melihat hasil pengujian
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome, ubah konfigurasi browser Anda untuk mengaktifkan tanda baris perintah --allow-file-access-from-files .
Membaca hasil tes
Detail hasil tes bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan sebelumnya
- CTS v2 untuk Android 7.0 dan yang lebih baru
Informasi Perangkat
Di CTS v1 dan sebelumnya, pilih Informasi Perangkat (tautan di atas Ringkasan Tes) untuk melihat detail tentang perangkat, firmware (make, model, build firmware, platform), dan perangkat keras perangkat (resolusi layar, keypad, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan Tes
Bagian Ringkasan Tes memberikan rincian rencana pengujian yang dijalankan, seperti nama rencana CTS dan waktu mulai dan berakhirnya eksekusi. Ini juga menyajikan ringkasan agregat dari jumlah tes yang lulus, gagal, habis waktu, atau tidak dapat dijalankan.
Ringkasan pengujian sampel Android 10 CTS
Gambar 1: Ringkasan pengujian sampel Android 10 CTS
Ringkasan uji sampel CTS v2
Gambar 2: Ringkasan uji sampel CTS v2
Ringkasan uji sampel CTS v1
Gambar 3: Ringkasan uji sampel CTS v1
Laporan pengujian
Bagian selanjutnya, laporan pengujian CTS, memberikan ringkasan pengujian yang lulus per paket.
Ini diikuti dengan rincian tes aktual yang dijalankan. Laporan tersebut mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Ini menunjukkan hasil eksekusi pengujian—lulus, gagal, habis waktu, atau tidak dieksekusi. Jika terjadi kegagalan tes, detail disediakan untuk membantu mendiagnosis penyebabnya.
Selanjutnya, pelacakan tumpukan kegagalan tersedia dalam file XML tetapi tidak disertakan dalam laporan untuk memastikan singkatnya—melihat file XML dengan editor teks harus memberikan detail kegagalan pengujian (cari tag [Test] yang sesuai dengan tes yang gagal dan cari tag [StackTrace] di dalamnya).
Tampilkan laporan pengujian sampel CTS v2
Gambar 4: Laporan pengujian sampel CTS v2
Tampilkan laporan pengujian sampel CTS v1
Gambar 5: Laporan pengujian sampel CTS v1
Meninjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang tidak lengkap dalam sesi pengujian tertentu, jalankan perintah 'daftar hasil'. Jumlah Modul yang Diselesaikan dan Total Modul terdaftar untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang lengkap vs. tidak lengkap, buka file test_result.xml dan baca nilai atribut "selesai" untuk setiap modul dalam laporan hasil. Modul dengan nilai done = "false" belum berjalan sampai selesai.
Triaging kegagalan tes
Gunakan saran berikut untuk melakukan triase kegagalan pengujian.
- Pastikan lingkungan CTS Anda diatur dengan benar, jika tes gagal karena prasyarat yang salah. Ini termasuk lingkungan fisik, penyiapan mesin desktop, dan penyiapan perangkat Android.
- Verifikasi stabilitas perangkat, pengaturan pengujian, atau masalah lingkungan, jika pengujian tampak terlalu tidak stabil.
- Coba lagi tes secara terpisah jika masih gagal.
- Periksa faktor eksternal yang menyebabkan kegagalan pengujian, seperti:
- Pengaturan lingkungan. Misalnya, konfigurasi mesin desktop yang salah konfigurasi dapat menjadi penyebab kegagalan pengujian yang terjadi pada semua Device-Under-Test (DUT) (termasuk perangkat referensi).
- Ketergantungan eksternal. Misalnya, jika pengujian gagal pada semua perangkat di beberapa situs yang dimulai pada titik waktu tertentu, URL yang buruk mungkin salah.
- Jika DUT tidak menyertakan patch keamanan, kegagalan uji keamanannya diharapkan.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan yang gagal.
- Analisis pernyataan, log, laporan bug, dan sumber CTS . Untuk HostTest, pernyataan dan log bisa sangat umum sehingga sangat membantu untuk juga memeriksa dan melampirkan logcat perangkat.
- Kirimkan patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Menyimpan sebagian hasil
Tradefed tidak menyimpan hasil tes parsial saat pemanggilan tes gagal.
Ketika Tradefed tidak menghasilkan hasil tes apa pun, itu menyiratkan bahwa masalah serius telah terjadi selama uji coba, sehingga membuat hasil tes tidak dapat dipercaya. Hasil parsial dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.