Jika korpus pengujian besar atau waktu eksekusi menjadi lama, kami menawarkan kemungkinan untuk membagi pengujian di beberapa perangkat: sharding.
Sharding memiliki prasyarat agar peluncur pengujian mendukung sharding.
Sebagian besar peluncur pengujian utama sudah mendukung sharding sehingga tidak diperlukan pekerjaan tambahan. Peluncur pengujian ini sudah mendukung sharding: pengujian instrumentasi, pengujian berbasis sisi host, GTest.
Ada dua jenis sharding yang kami dukung di Tradefed: lokal dan terdistribusi. Keduanya memiliki beberapa kesamaan, sehingga halaman ini menjelaskan properti umum, lalu spesifikasi masing-masing.
Properti umum
Kedua bentuk sharding mengasumsikan properti yang sama dari peluncur pengujian: Shard harus independen dan deterministik. Langkah pertama dari kedua sharding adalah membuat daftar pengujian lengkap yang diurutkan, lalu membaginya ke dalam grup/shard yang berbeda.
Perbedaan utama bentuk sharding terletak pada cara mereka menjalankan pengujian. Detail selengkapnya di bagian bawah.
Sharding lokal
Sharding lokal berarti semua perangkat yang terlibat dalam eksekusi pemanggilan yang di-shard terhubung ke host fisik yang sama.
Eksekusi
Sharding lokal memanfaatkan semua perangkat yang terhubung ke host yang sama dengan membuat kumpulan pengujian yang perlu dijalankan dan membuat setiap perangkat melakukan polling pengujian saat tidak digunakan (yaitu, selesai dengan pengujian sebelumnya). Hal ini menghasilkan penggunaan perangkat yang dioptimalkan. Kami juga menyebutnya sharding dinamis.
Opsi
--shard-count XX
Sharding terdistribusi
Sharding terdistribusi berarti semua perangkat yang terlibat dalam eksekusi pemanggilan yang di-shard dapat berada di mana saja dan terhubung ke host fisik yang berbeda.
Eksekusi
Sharding terdistribusi terjadi saat membuat daftar pengujian, dan konten setiap shard hanya menjalankan shard yang saat ini diminta. Jadi, semua shard terdistribusi membuat daftar yang sama terlebih dahulu, lalu menjalankan subset yang saling eksklusif, sehingga semua pengujian dijalankan.
Properti utama bentuk ini adalah shard tidak mengetahui satu sama lain dan dapat gagal secara independen.
Kelemahan utamanya adalah panjang shard tidak selalu seimbang karena kami tidak dapat memprediksi runtime setiap pengujian di setiap shard terlebih dahulu. Distribusi dibuat agar memiliki jumlah kasus pengujian yang kira-kira sama di setiap shard.
Opsi
--shard-count XX --shard-index XX
Sharding token
Sharding token hanya dapat digunakan dengan sharding lokal. Flag tidak beroperasi dalam kasus penggunaan sharding non-lokal. Terkadang, salah satu perangkat yang terlibat dalam sharding memiliki resource khusus yang tidak dimiliki perangkat lain, seperti kartu SIM. Beberapa pengujian mungkin hanya berfungsi jika resource khusus tersebut tersedia dan akan gagal jika tidak tersedia.
Sharding token adalah solusi kami untuk kasus penggunaan tersebut. Modul pengujian dapat mendeklarasikan resource khusus yang mereka butuhkan di AndroidTest.xml, dan Tradefed merutekan pengujian ke perangkat yang memiliki resource tersebut.
Konfigurasi XML
<option name="config-descriptor:metadata" key="token" value="SIM_CARD" />
value token cocok dengan
TokenProperty
Tradefed dan dikaitkan dengan pengendali di
TokenProviderHelper.
Hal ini memungkinkan modul pengujian dijalankan terhadap perangkat yang dapat menjalankan pengujian dengan benar.
Bagaimana jika tidak ada perangkat yang dapat menjalankan pengujian?
Jika tidak ada perangkat yang tersedia memiliki resource yang cocok dengan modul pengujian, modul pengujian akan gagal dan dilewati karena tidak dapat dijalankan dengan benar.
Misalnya, jika modul pengujian meminta kartu SIM untuk dijalankan, tetapi tidak ada perangkat yang memiliki kartu SIM, modul pengujian akan gagal.
Penerapan
Teruskan tombol fitur ini ke command line Tradefed utama:
--enable-token-sharding