Hasil tes CTS ditempatkan di file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda membuat CTS sendiri, CTS_ROOT menyerupai out/host/linux-x86/cts tetapi berbeda berdasarkan platform. Ini mencerminkan jalur di mana Anda telah membuka kompresi CTS resmi bawaan yang diunduh dari situs ini.
Di dalam zip, file test_result.xml berisi hasil sebenarnya.
Tampilkan hasil Android 10 dan yang lebih baru
File test_result.html ada dalam arsip zip, Anda dapat langsung membukanya di browser web apa pun yang kompatibel dengan HTML5
Tampilkan hasil Pra-Android 10
Buka file test_result.xml di browser web apa pun yang kompatibel dengan HTML5 untuk melihat hasil tes
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome, ubah konfigurasi browser Anda untuk mengaktifkan tanda baris perintah --allow-file-access-from-files .
Baca hasil tesnya
Detail hasil tes bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan versi lebih lama
- CTS v2 untuk Android 7.0 dan lebih baru
Informasi perangkat
Di CTS v1 dan versi lebih lama, pilih Informasi Perangkat (tautan di atas Ringkasan Tes) untuk melihat rincian tentang perangkat, firmware (merek, model, pembuatan firmware, platform), dan perangkat keras perangkat (resolusi layar, papan tombol, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan tes
Bagian Ringkasan Pengujian memberikan rincian rencana pengujian yang dijalankan, seperti nama rencana CTS serta waktu mulai dan berakhirnya eksekusi. Ini juga menyajikan ringkasan agregat jumlah pengujian yang lulus, gagal, habis waktunya, atau tidak dapat dijalankan.
Ringkasan pengujian sampel Android 10 CTS
Gambar 1: Ringkasan pengujian sampel Android 10 CTS
Ringkasan tes sampel CTS v2
Gambar 2: Ringkasan pengujian sampel CTS v2
Ringkasan tes sampel CTS v1
Gambar 3: Ringkasan tes sampel CTS v1
Laporan pengujian
Bagian selanjutnya, laporan pengujian CTS, memberikan ringkasan pengujian yang lulus per paket.
Ini diikuti dengan rincian tes aktual yang dijalankan. Laporan ini mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Ini menunjukkan hasil eksekusi pengujian—lulus, gagal, batas waktu habis, atau tidak dijalankan. Jika terjadi kegagalan pengujian, rincian diberikan untuk membantu mendiagnosis penyebabnya.
Selanjutnya, pelacakan tumpukan kegagalan tersedia dalam file XML tetapi tidak disertakan dalam laporan untuk memastikan singkatnya—melihat file XML dengan editor teks akan memberikan rincian kegagalan pengujian (cari tag [Test] yang sesuai dengan pengujian yang gagal dan cari tag [StackTrace] di dalamnya).
Tampilkan laporan pengujian sampel CTS v2
Gambar 4: Contoh laporan pengujian CTS v2
Tampilkan contoh laporan pengujian CTS v1
Gambar 5: Contoh laporan pengujian CTS v1
Tinjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang tidak lengkap dalam sesi pengujian tertentu, jalankan perintah 'daftar hasil'. Jumlah Modul yang Diselesaikan dan Total Modul dicantumkan untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang lengkap vs tidak lengkap, buka file test_result.xml dan baca nilai atribut "selesai" untuk setiap modul di laporan hasil. Modul dengan nilai selesai = "false" belum berjalan sampai selesai.
Kegagalan uji triase
Gunakan saran berikut untuk melakukan triase kegagalan pengujian.
- Verifikasikan lingkungan CTS Anda telah diatur dengan benar, jika pengujian gagal karena prasyarat yang salah. Ini mencakup lingkungan fisik, penyiapan mesin desktop, dan penyiapan perangkat Android.
- Verifikasi stabilitas perangkat, pengaturan pengujian, atau masalah lingkungan, jika pengujian tampak terlalu tidak stabil.
- Coba lagi pengujian secara terpisah jika masih gagal.
- Periksa faktor eksternal yang menyebabkan kegagalan pengujian, seperti:
- Pengaturan lingkungan. Misalnya, pengaturan mesin desktop yang salah dikonfigurasi mungkin menjadi penyebab kegagalan pengujian yang terjadi pada semua Device-Under-Test (DUTs) (termasuk perangkat referensi).
- Ketergantungan eksternal. Misalnya, jika pengujian gagal pada semua perangkat di beberapa situs yang dimulai pada titik waktu tertentu, mungkin penyebabnya adalah URL yang buruk.
- Jika DUT tidak menyertakan patch keamanan, pengujian keamanannya diperkirakan akan gagal.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan gagal.
- Analisis pernyataan, log, laporan bug, dan sumber CTS . Untuk HostTest, pernyataan dan log bisa sangat umum sehingga akan berguna jika Anda juga memeriksa dan melampirkan logcat perangkat.
- Kirimkan patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Simpan sebagian hasil
Tradefed tidak menyimpan sebagian hasil tes ketika pemanggilan tes gagal.
Ketika Tradefed tidak menghasilkan hasil pengujian apa pun, hal ini menyiratkan bahwa masalah serius telah terjadi selama pengujian dijalankan, sehingga membuat hasil pengujian tidak dapat dipercaya. Hasil parsial dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.