Google berkomitmen untuk mendorong terwujudnya keadilan ras bagi komunitas Kulit Hitam. Lihat caranya.

Gunakan Suite Coba Lagi

Sebuah suite cenderung menyertakan beberapa modul pengujian dan dapat mencapai ukuran corpus pengujian yang cukup besar. Sebagai contoh, Android Compatibility Test Suite (CTS) mencakup ratusan modul dan ratusan kasus ribu uji.

Ada kemungkinan sejumlah besar pengujian gagal karena isolasi yang buruk atau perangkat menjadi buruk.

Fitur coba ulang suite dimaksudkan untuk mengatasi kasus-kasus tersebut: Ini memungkinkan Anda untuk mencoba kembali kegagalan saja alih-alih suite lengkap untuk mengesampingkan kerapuhan dan isolasi yang buruk. Jika tes gagal secara konsisten, percobaan ulang juga akan gagal; dan Anda mendapatkan sinyal yang jauh lebih kuat bahwa ada masalah nyata.

Terapkan percobaan ulang suite

Percobaan ulang hasil melibatkan membaca hasil sebelumnya dan menjalankan kembali pemanggilan sebelumnya.

Antarmuka utama mengemudi coba adalah ITestSuiteResultLoader , yang memungkinkan Anda untuk memuat hasil sebelumnya, dan baris perintah sebelumnya.

The RetryRescheduler kemudian menggunakan informasi ini untuk menciptakan perintah sebelumnya dan mengisi beberapa filter untuk kembali menjalankan hanya kegagalan sebelumnya atau tes tidak dijalankan.

Contoh suite coba lagi: CTS

Konfigurasi coba lagi di CTS adalah:

<configuration description="Runs a retry of a previous CTS session.">
    <object type="previous_loader" class="com.android.compatibility.common.tradefed.result.suite.PreviousResultLoader" />
    <test class="com.android.tradefed.testtype.suite.retry.RetryRescheduler" />

    <logger class="com.android.tradefed.log.FileLogger">
        <option name="log-level-display" value="WARN" />
    </logger>
</configuration>

Hal ini berlaku untuk sebagian besar suite yang memperpanjang, misalnya VTS ).

Itu akan dipanggil melalui:

cts-tradefed run retry --retry <session>

Sesi akan ditemukan dengan mencantumkan hasil sebelumnya di konsol CTS:

cts-tf > l r
Session  Pass  Fail  Modules Complete  Result Directory     Test Plan  Device serial(s)  Build ID   Product
0        2092  30    148 of 999        2018.10.29_14.12.57  cts        [serial]          P          Pixel

Perintah asli yang tepat akan dimuat ulang dan dijalankan kembali dengan filter tambahan. Ini berarti bahwa jika perintah asli Anda menyertakan beberapa opsi, opsi tersebut juga akan menjadi bagian dari percobaan ulang.

Sebagai contoh:

cts-tradefed run cts-dev -m CtsGestureTestCases

The coba di atas akan selalu dibatasi untuk CtsGestureTestCases karena kita mencoba kembali perintah yang melibatkan hanya itu.

Konfigurasikan coba lagi untuk suite bergaya CTS

Agar percobaan ulang berfungsi, hasil sebelumnya perlu diekspor dalam format proto. Berikut ini perlu ditambahkan:

<result_reporter class="com.android.compatibility.common.tradefed.result.suite.CompatibilityProtoResultReporter" />

Hal ini perlu ditambahkan ke konfigurasi XML dari perintah utama, dan itu akan menghasilkan test-record.pb file yang akan dibuat dalam folder hasil.

CTS coba lagi maka data beban dari kombinasi dari test-record.pb dan ada test_result.xml untuk mempersiapkan doa coba lagi.