CTS sonuçlarını yorumlama

CTS test sonuçları dosyaya yerleştirilir:

CTS_ROOT/android-cts/results/start_time.zip

CTS'yi kendiniz oluşturduysanız CTS_ROOT, benzer yapıda out/host/linux-x86/cts fakat platforma göre değişiklik gösteriyor. Bu, proje hedefini Önceden oluşturulmuş resmi CTS'yi sıkıştırılmış indirildi.

Zip dosyasının içindeki test_result.xml dosyası, gerçek sonuçları içerir.

Android 10 ve sonraki sürümlerdeki sonuçları göster

Zip arşivinde bir test_result.html dosyası mevcut. Dosyayı doğrudan açabilirsiniz. herhangi bir HTML5 uyumlu web tarayıcısında

Android 10 öncesi sonuçları gösterme

Testi görüntülemek için test_result.xml dosyasını HTML5 uyumlu herhangi bir web tarayıcısında açın sonuç

Chrome tarayıcıyı kullanırken bu dosya boş bir sayfa gösteriyorsa tarayıcı yapılandırmanızı değiştirin (--allow-file-access-from-files komut satırı işaretini etkinleştirin.)

Test sonuçlarını okuyun

Test sonuçlarının ayrıntıları, hangi CTS'yi kullandığınıza bağlıdır:

  • Android 6.0 ve önceki sürümler için CTS v1
  • Android 7.0 ve sonraki sürümler için CTS 2 sürümü
ziyaret edin.

Cihaz bilgileri

CTS v1 ve önceki sürümlerde, aşağıdakileri yapmak için Cihaz Bilgileri'ni (Test Özeti'nin üstündeki bağlantı) seçin. cihazla ilgili ayrıntıları (marka, model, donanım yazılımı derlemesi, platform) görüntüleyin ve cihaz donanımı (ekran çözünürlüğü, tuş takımı, ekran türü). CTS v2 cihaz bilgilerini görüntüleyin.

Test özeti

Test Özeti bölümü, CTS gibi yürütülen test planı ayrıntılarını sağlar plan adı ile yürütmenin başlangıç ve bitiş zamanlarını gösterir. Ayrıca toplamda geçilen, başarısız olan, zaman aşımına uğrayan veya gidilemeyen test sayısının özeti yürütüldü.

Android 10 CTS örnek test özeti

Android 10 CTS testi özeti

Şekil 1: Android 10 CTS örnek test özeti

CTS v2 örnek test özeti

CTS v2 test özeti

Şekil 2: CTS v2 örnek test özeti

CTS v1 örnek test özeti

CTS v1 test özeti

Şekil 3: CTS v1 örnek test özeti

Test raporu

Bir sonraki bölüm olan CTS test raporu, her çeyrekte geçen paketinden yararlanın.

Ardından, yürütülen gerçek testlerin ayrıntıları gelir. Rapor test paketini, test paketini, test durumunu ve yürütülen testleri listeler. Bu sonuçta test yürütmesinin sonucu (başarılı, başarısız, zaman aşımına uğramış veya yürütülmemiştir. nedenin teşhis edilmesine yardımcı olmak için testte başarısız olduğu durumların ayrıntıları verilir.

Ayrıca, hatanın yığın izlemesi XML dosyasında mevcuttur ancak Kısalığı sağlamak için rapora dahil edildi. XML dosyasını bir metin düzenleyiciyle görüntülemek test hatasının ayrıntılarını sağlamalıdır ([Test] etiketini arayın ifadesini kontrol edip [StackTrace] etiketini bulmanız gerekir.)

CTS v2 örnek test raporunu göster

CTS v2 test raporu

Şekil 4: CTS v2 örnek test raporu

CTS v1 örnek test raporunu göster

CTS v1 test raporu

Şekil 5: CTS v1 örnek test raporu

Eksik test modülleri için test_result.xml dosyasını inceleyin

Belirli bir test oturumundaki tamamlanmamış modüllerin sayısını belirlemek için komutuyla ne zaman karşılaşacaksınız? Tamamlanan Modül ve Toplam Modül sayısı: listelenir. Hangi modüllerin tamamlandığını, tamamlanmadı, test_result.xml dosyasını açın ve "bit" (bitti) değerini okuyun özelliğini gönderin. Değeri tamamlanan modüller = "yanlış" henüz tamamlanmamıştır.

Test hatalarının öncelik sırasını belirleme

Test hatalarının önceliğini belirlemek için aşağıdaki önerileri kullanın.

  • Doğrulama CTS ortamı doğru şekilde ayarlandığından emin olun. Buna fiziksel ortam, masaüstü makine kurulumu ve Android cihaz kurulumu.
  • Cihaz kararlılığını, test kurulumunu veya ortam sorunlarını doğrulama, olup olmadığını kontrol edin.
  • Hâlâ başarısız olursa testi ayrı olarak yeniden deneyin.
  • Test hatalarına neden olan harici faktörleri kontrol edin. Örneğin:
    • Ortam kurulumu. Örneğin, yanlış yapılandırılmış bir masaüstü makinesi kurulumu, tüm alt cihazlarda görülen test hatalarının nedeni olabilir Test (DUT'ler) (referans cihazlar dahil).
    • Dış bağımlılıklar. Örneğin, bir test şuradaki tüm cihazlarda başarısız olursa: belirli bir noktadan başlayan birden çok site varsa, kötü bir URL ilk hatadır.
    • DUT, güvenlik değerini içermiyorsa beklenen bir güvenlik testi hatası vardır.
  • Geçirilen ve başarısız olan cihazlar arasındaki farkları doğrulayın ve analiz edin.
  • Onaylama, günlüğü, hata raporunu ve CTS kaynağı. HostTest için onay ve günlük çok genel olabilir. Bu nedenle, logcat'i kontrol edip ekleyin.
  • Test hatalarının azaltılmasına yardımcı olması için bir test iyileştirme yaması gönderin.

Kısmi sonuçları kaydet

Tradefed, test çağrısı başarısız olduğunda kısmi test sonuçlarını kaydetmez.

Tradefed herhangi bir test sonucu üretmediğinde, bu, ciddi bir sorunun nedeniyle test sonucu güvenilir kabul edilmez. Kısmi sonuç, aşağıdaki durumlar söz konusu olduğunda değer sağlamadığı için yararsız olarak kabul edilir: inceleyin.