CTS test sonuçları şu dosyaya yerleştirilir:
CTS_ROOT/android-cts/results/start_time.zip
CTS'yi kendiniz oluşturduysanız CTS_ROOT, out/host/linux-x86/cts'e benzer ancak platforma göre farklılık gösterir. Bu, bu siteden indirilen önceden oluşturulmuş resmi CTS'yi açtığınız yolu yansıtır.
Zip dosyasındaki test_result.xml dosyası, gerçek sonuçları içerir.
Android 10 ve sonraki sürümlerdeki sonuçları görüntüleme
Zip arşivinde test_result.html dosyası varsa bu dosyayı doğrudan HTML5 uyumlu herhangi bir web tarayıcısında açabilirsiniz.
Android 10'dan önceki sonuçları görüntüleme
Test sonuçlarını görüntülemek için test_result.xml dosyasını HTML5 ile uyumlu herhangi bir web tarayıcısında açın.
Bu dosya, Chrome tarayıcı kullanılırken boş bir sayfa gösteriyorsa --allow-file-access-from-files komut satırı işaretini etkinleştirmek için tarayıcı yapılandırmanızı değiştirin.
Test sonuçlarını okuma
Test sonuçlarının ayrıntıları, kullandığınız CTS sürümüne bağlıdır:
- Android 6.0 ve önceki sürümler için CTS v1
- Android 7.0 ve sonraki sürümler için CTS v2
Cihaz bilgileri
CTS v1 ve önceki sürümlerde cihaz, donanım yazılımı (üretici, model, donanım yazılımı derleme, platform) ve cihaz donanımı (ekran çözünürlüğü, tuş takımı, ekran türü) hakkında ayrıntıları görüntülemek için Cihaz Bilgileri'ni (Test Özeti'nin üzerindeki bağlantı) seçin. CTS v2, cihaz bilgilerini göstermez.
Test özeti
Test Özeti bölümünde, CTS plan adı ve yürütmenin başlangıç ve bitiş zamanları gibi yürütülen test planı ayrıntıları sağlanır. Ayrıca, başarılı olan, başarısız olan, zaman aşımına uğrayan veya yürütülemeyen testlerin sayısıyla ilgili toplu bir özet de sunar.
Android 10 CTS örnek test özeti
Şekil 1: Android 10 CTS örnek test özeti
CTS v2 örnek test özeti
Şekil 2: CTS v2 örnek test özeti
CTS v1 örnek test özeti
Şekil 3: CTS v1 örnek test özeti
Test raporu
Bir sonraki bölüm olan CTS test raporunda, paket başına geçen testlerin özeti yer alır.
Bunu, yürütülen gerçek testlerin ayrıntıları izler. Raporda test paketi, test paketi, test durumu ve yürütülen testler listelenir. Test yürütme sonucunu (geçti, başarısız, zaman aşımı veya yürütülmedi) gösterir. Test başarısız olursa nedeni teşhis etmenize yardımcı olacak ayrıntılar sağlanır.
Ayrıca, hatanın yığın izi XML dosyasında bulunur ancak raporun kısa olması için rapora dahil edilmez. XML dosyasını bir metin düzenleyiciyle görüntülemek, test hatasıyla ilgili ayrıntıları sağlar (başarısız olan teste karşılık gelen [Test] etiketini arayın ve bu etiketin içindeki [StackTrace] etiketini bulun).
CTS v2 örnek test raporunu göster
Şekil 4: CTS v2 örnek test raporu
CTS v1 örnek test raporunu göster
Şekil 5: CTS v1 örnek test raporu
Eksik test modülleri için test_result.xml dosyasını inceleyin.
Belirli bir test oturumundaki tamamlanmamış modül sayısını belirlemek için "list results" (sonuçları listele) komutunu çalıştırın. Tamamlanan Modüller ve Toplam Modüller sayısı, önceki her oturum için listelenir. Hangi modüllerin tamamlandığını, hangilerinin tamamlanmadığını belirlemek için test_result.xml dosyasını açın ve sonuç raporundaki her modül için "done" özelliğinin değerini okuyun. Değeri done = "false" olan modüller tamamlanmamıştır.
Test hatalarını önceliklendirme
Test hatalarını önceliklendirmek için aşağıdaki önerilerden yararlanın.
- Bir test yanlış ön koşullar nedeniyle başarısız oluyorsa CTS ortamınızın doğru şekilde ayarlandığını doğrulayın. Fiziksel ortam, masaüstü makine kurulumu ve Android cihaz kurulumu buna dahildir.
- Bir test aşırı derecede kararsız görünüyorsa cihaz kararlılığını, test kurulumunu veya ortam sorunlarını doğrulayın.
- Hâlâ başarısız oluyorsa testi tek başına tekrar deneyin.
- Aşağıdakiler gibi test hatalarına neden olan harici faktörleri kontrol edin:
- Çevre kurulumu. Örneğin, yanlış yapılandırılmış bir masaüstü makine kurulumu, referans cihazlar da dahil olmak üzere test edilen tüm cihazlarda (DUT) test hatalarına neden olabilir.
- Dış bağımlılıklar. Örneğin, belirli bir zamandan itibaren birden fazla sitedeki tüm cihazlarda bir test başarısız olursa kötü bir URL'nin hatası olabilir.
- DUT güvenlik yaması içermiyorsa güvenlik testi başarısız olur.
- Geçen ve başarısız olan cihazlar arasındaki farkları doğrulayın ve analiz edin.
- Onayı, günlüğü, hata raporunu ve CTS kaynağını analiz edin. HostTest için onay ve günlük çok genel olabilir. Bu nedenle, cihaz logcat'ini de kontrol edip eklemek faydalı olur.
- Test hatalarını azaltmaya yardımcı olmak için test iyileştirme yaması gönderin.
Kısmi sonuçları kaydetme
Tradefed, test çağrısı başarısız olduğunda kısmi test sonuçlarını kaydetmez.
Tradefed herhangi bir test sonucu oluşturmadığında test çalıştırma sırasında ciddi bir sorun oluştuğu ve bu nedenle test sonucunun güvenilir olmadığı anlaşılır. Kısmi sonuç, cihaz sorununu araştırırken değer sağlamadığı için faydalı bulunmuyor.