Hasil uji CTS ditempatkan dalam file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda membuat CTS sendiri, CTS_ROOT menyerupai
out/host/linux-x86/cts tetapi berbeda di setiap platform. Hal ini mencerminkan
jalur di mana
Anda telah mengompresi CTS resmi bawaan
didownload dari situs ini.
Di dalam zip, file test_result.xml berisi hasil sebenarnya.
Menampilkan hasil Android 10 dan yang lebih baru
File test_result.html ada dalam arsip zip, Anda dapat langsung membukanya di browser web apa pun yang kompatibel dengan HTML5
Tampilkan hasil Pra-Android 10
Buka file test_result.xml di browser web yang kompatibel dengan HTML5 untuk melihat pengujian hasil
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome,
mengubah konfigurasi browser Anda
untuk mengaktifkan tanda command line --allow-file-access-from-files.
Baca hasil pengujian
Detail hasil uji bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan versi sebelumnya
- CTS v2 untuk Android 7.0 dan yang lebih baru
Informasi perangkat
Di CTS v1 dan versi sebelumnya, pilih Informasi Perangkat (tautan di atas Ringkasan Pengujian) untuk melihat detail tentang perangkat, firmware (maket, model, build firmware, platform), dan hardware perangkat (resolusi layar, keypad, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan uji
Bagian Ringkasan Pengujian memberikan detail rencana pengujian yang dijalankan, seperti CTS nama rencana, serta waktu mulai dan waktu berakhirnya. Hal ini juga menyajikan suatu agregat ringkasan jumlah pengujian yang lulus, gagal, waktunya habis, atau tidak dapat telah dijalankan.
Ringkasan pengujian contoh Android 10 CTS
Gambar 1: Ringkasan pengujian contoh CTS Android 10
Ringkasan uji sampel CTS v2
Gambar 2: Ringkasan pengujian sampel CTS v2
Ringkasan uji sampel CTS v1
Gambar 3: Ringkasan pengujian sampel CTS v1
Laporan pengujian
Bagian berikutnya, laporan uji CTS, memberikan ringkasan pengujian yang paket.
Pengujian ini diikuti dengan detail pengujian sebenarnya yang telah dijalankan. Laporan mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Menunjukkan hasil eksekusi uji—lulus, gagal, waktu habis, atau tidak dijalankan. Di kolom detail peristiwa kegagalan uji diberikan untuk membantu mendiagnosis penyebabnya.
Selanjutnya, pelacakan tumpukan kegagalan tersedia dalam file XML, tetapi tidak tersedia disertakan dalam laporan untuk memastikan ringkas—melihat file XML dengan editor teks harus memberikan detail kegagalan pengujian (telusuri tag [Test] yang sesuai dengan pengujian yang gagal dan mencari tag [StackTrace] di dalamnya).
Tampilkan laporan uji sampel CTS v2
Gambar 4: Laporan pengujian contoh CTS v2
Tampilkan laporan uji sampel CTS v1
Gambar 5: Laporan pengujian contoh CTS v1
Tinjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang belum selesai dalam sesi pengujian tertentu, jalankan 'list results'. Jumlah Modul yang Selesai dan Total Modul adalah yang tercantum untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang lengkap vs. tidak lengkap, buka file test_result.xml dan baca nilai "done" untuk setiap modul dalam laporan hasil. Modul dengan nilai selesai = "salah" belum berjalan hingga selesai.
Kegagalan uji triase
Gunakan saran berikut untuk menentukan prioritas kegagalan uji.
- Verifikasi Lingkungan CTS disiapkan dengan benar, jika pengujian gagal karena prakondisi yang salah. Ini termasuk lingkungan fisik, pengaturan komputer {i>desktop<i}, dan Penyiapan perangkat Android.
- Memverifikasi stabilitas perangkat, penyiapan pengujian, atau masalah lingkungan, jika hasil pengujian tampak terlalu tidak stabil.
- Coba lagi pengujian secara terpisah jika masih gagal.
- Memeriksa faktor eksternal yang menyebabkan kegagalan uji, seperti:
- Penyiapan lingkungan. Misalnya, komputer {i>desktop<i} yang tidak dikonfigurasi dengan benar mungkin menjadi penyebab kegagalan uji yang terjadi pada semua Pengujian (DUT) (termasuk perangkat referensi).
- Dependensi eksternal. Misalnya, jika pengujian gagal pada semua perangkat di beberapa situs yang dimulai pada waktu tertentu, URL yang buruk mungkin bersalah.
- Jika DUT tidak menyertakan keamanan {i>patch<i}, maka kegagalan uji keamanannya sudah diperkirakan.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan gagal.
- Analisis pernyataan, log, laporan bug, dan Sumber CTS. Untuk {i>HostTest<i}, pernyataan dan log bisa sangat umum sehingga sangat membantu memeriksa dan memasang logcat perangkat.
- Kirim patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Simpan hasil parsial
Tradefed tidak menyimpan hasil pengujian parsial saat pemanggilan pengujian gagal.
Jika Tradefed tidak memberikan hasil pengujian apa pun, tersirat bahwa ada masalah serius. yang terjadi selama pengujian, sehingga hasil pengujian menjadi tidak dapat dipercaya. Hasil parsial dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.