Sebuah suite cenderung menyertakan beberapa modul pengujian dan dapat mencapai ukuran corpus pengujian yang cukup besar. Misalnya, Android Compatibility Test Suite (CTS) mencakup ratusan modul dan ratusan ribu kasus uji.
Ada kemungkinan sejumlah besar pengujian gagal karena isolasi yang buruk atau perangkat masuk ke kondisi yang buruk.
Fitur coba ulang suite dimaksudkan untuk mengatasi kasus-kasus tersebut: Ini memungkinkan Anda untuk mencoba lagi kegagalan saja alih-alih suite lengkap untuk mengesampingkan kerapuhan dan isolasi yang buruk. Jika tes secara konsisten gagal, coba lagi juga akan gagal; dan Anda mendapatkan sinyal yang jauh lebih kuat bahwa ada masalah nyata.
Terapkan percobaan ulang suite
Percobaan ulang hasil melibatkan membaca hasil sebelumnya dan menjalankan kembali pemanggilan sebelumnya.
Antarmuka utama yang mendorong percobaan ulang adalah ITestSuiteResultLoader , yang memungkinkan Anda memuat hasil sebelumnya, dan baris perintah sebelumnya.
RetryRescheduler kemudian menggunakan informasi ini untuk membuat ulang perintah sebelumnya dan mengisi beberapa filter untuk menjalankan kembali hanya kegagalan sebelumnya atau pengujian yang tidak dijalankan.
Contoh suite coba lagi: CTS
Konfigurasi coba lagi di CTS adalah:
<configuration description="Runs a retry of a previous CTS session.">
<object type="previous_loader" class="com.android.compatibility.common.tradefed.result.suite.PreviousResultLoader" />
<test class="com.android.tradefed.testtype.suite.retry.RetryRescheduler" />
<logger class="com.android.tradefed.log.FileLogger">
<option name="log-level-display" value="WARN" />
</logger>
</configuration>
Ini berlaku untuk sebagian besar suite yang memperluasnya, misalnya VTS ).
Itu akan dipanggil melalui:
cts-tradefed run retry --retry <session>
Sesi akan ditemukan dengan mencantumkan hasil sebelumnya di konsol CTS:
cts-tf > l r
Session Pass Fail Modules Complete Result Directory Test Plan Device serial(s) Build ID Product
0 2092 30 148 of 999 2018.10.29_14.12.57 cts [serial] P Pixel
Perintah asli yang tepat akan dimuat ulang dan dijalankan kembali dengan filter tambahan. Ini berarti bahwa jika perintah asli Anda menyertakan beberapa opsi, opsi tersebut juga akan menjadi bagian dari percobaan ulang.
Sebagai contoh:
cts-tradefed run cts-dev -m CtsGestureTestCases
Percobaan ulang di atas akan selalu dibatasi ke CtsGestureTestCases karena kami mencoba ulang perintah yang hanya melibatkannya.
Konfigurasikan coba lagi untuk suite bergaya CTS
Agar percobaan ulang berfungsi, hasil sebelumnya perlu diekspor dalam format proto. Berikut ini perlu ditambahkan:
<result_reporter class="com.android.compatibility.common.tradefed.result.suite.CompatibilityProtoResultReporter" />
Ini perlu ditambahkan ke konfigurasi XML dari perintah utama, dan itu akan menghasilkan file test-record.pb yang akan dibuat di folder hasil.
Percobaan ulang CTS kemudian memuat data dari kombinasi test-record.pb dan test_result.xml yang ada untuk menyiapkan permintaan percobaan ulang.