CTS yang Didukung Developer

Halaman ini menguraikan panduan penggunaan untuk CTS-D yang Didukung Developer.

Cakupan pengujian

CTS-D, seperti CTS & CTS Verifier, hanya dapat menerapkan hal berikut:

  • Semua API publik yang dijelaskan di SDK developer (developer.android.com) untuk level API tertentu.
  • Semua persyaratan HARUS yang tercakup dalam bagian Kompatibilitas Android Definition Document (CDD) untuk level API tertentu.

Persyaratan yang tidak HARUS, seperti SANGAT DIREKOMENDASIKAN, SEHARUSNYA, MUNGKIN, bersifat opsional dan tidak dapat diuji menggunakan CTS.

Karena semua API dan persyaratan CDD terikat dengan level API tertentu, semua CTS pengujian (CTS, CTS-D, dan CTS Verifier) terikat pada level API yang sama dengan API atau persyaratan terkait. Jika API tertentu tidak digunakan lagi atau diubah, pengujian yang sesuai harus tidak digunakan lagi atau diperbarui.

Aturan pembuatan uji CTS

  • Pengujian harus memberikan hasil objektif yang sama secara konsisten.
  • Pengujian harus menentukan apakah perangkat lulus atau gagal dengan menguji perangkat tersebut sekali pakai.
  • Kreator pengujian harus menghapus semua faktor yang dapat memengaruhi hasil pengujian.
  • Jika perangkat membutuhkan kondisi/lingkungan/penyiapan perangkat keras tertentu, pengaturan harus didefinisikan dengan jelas dalam pesan commit. Untuk contoh petunjuk pengaturan, lihat Menyiapkan CTS.
  • Pengujian tidak boleh berjalan lebih dari 6 jam dalam satu waktu. Jika model itu perlu dijalankan selama lagi, sertakan alasannya dalam proposal pengujian sehingga kami dapat meninjaunya.

Berikut ini adalah contoh serangkaian kondisi pengujian untuk menguji aplikasi batasan:

  • Wi-Fi stabil (untuk pengujian yang mengandalkan Wi-Fi).
  • Perangkat tetap tidak bergerak selama pengujian (atau tidak, bergantung pada pengujian).
  • Perangkat dicabut dari sumber listrik apa pun dengan level baterai X persen.
  • Tidak ada aplikasi, layanan latar depan, atau layanan latar belakang yang berjalan, kecuali untuk CTS.
  • Layar mati saat menjalankan CTS.
  • Perangkat BUKAN isLowRamDevice.
  • Pembatasan penghemat baterai / aplikasi belum diubah dari "siap pakai".

Kelayakan pengujian

Kami menerima pengujian baru yang menerapkan perilaku yang tidak diuji oleh CTS yang ada, CTS Verifier, atau uji CTS-D. Pengujian apa pun yang memeriksa perilaku di luar cakupan dari cakupan pengujian kami akan ditolak.

Proses pengiriman CTS

  1. Menulis proposal pengujian: Developer aplikasi mengirimkan proposal pengujian menggunakan Issue Tracker Google, menjelaskan masalah yang telah teridentifikasi dan mengusulkan pengujian untuk diperiksa untuk itu. Proposal harus menyertakan ID persyaratan CDD terkait. Tim Android akan meninjau proposal tersebut.
  2. Mengembangkan uji CTS: Setelah proposal disetujui, pengirim membuat CTS menguji AOSP pada cabang utama (AOSP/utama). Tim Android akan meninjau kode tersebut.
  3. Publikasikan pengujian: Kirim CL Anda di AOSP/main, lalu pilih terbaik ke cabang androidx-tests-dev terbaru. Pengujian tersebut kini tersedia untuk publik.

Panduan penulisan uji CTS-D

  • Ikuti Panduan Gaya Kode Java.
  • Ikuti semua langkah yang dijelaskan dalam Pengembangan CTS.
  • Tambahkan pengujian ke rencana pengujian yang sesuai:
    • Gunakan include-filters untuk menambahkan pengujian baru Anda ke rencana pengujian CTS-D: platform/cts/tools/cts-tradefed/res/config/cts-developer.xml.
    • Gunakan exclude-filters untuk mengecualikan pengujian baru dari rencana pengujian CTS utama: platform/cts/tools/cts-tradefed/res/config/cts-developer-exclude.xml.
  • Menangani semua peringatan dan saran errorprone di build_error.log.
  • Muat ulang perubahan Anda ke head. Ini mencakup cts-developer.xml dan cts-developer-exclude.xml rencana pengujian.
  • Bekerja samalah dengan kontak engineer Google untuk menentukan apakah kasus pengujian Anda dapat dimasukkan ke dalam modul CTS yang ada. Jika tidak bisa, mereka akan membantu Anda membuat modul baru.
  • Untuk setiap modul pengujian baru yang dibuat, buat file OWNERS di modul pengujian baru saat ini.
    • File OWNERS Anda harus berisi informasi berikut, yang diperoleh dari pemilik pengujian Google yang bekerja sama dengan Anda:
    • # Bug component: xxx
    • LDAP pemilik uji Google
  • Di AndroidTest.xml, tentukan parameter berikut. Lihat file contoh (1, 2) misalnya:
    • Instant_app atau not_instant_app
    • secondary_user atau not_secondary_user
    • all_foldable_states atau no_foldable_states
  • Untuk menentukan minSDK yang benar, lihat <uses-sdk> dokumentasi tambahan.
  • Saat memeriksa metode, class, atau modul pengujian baru, tambahkan ke CTS-D rencana uji dan mengecualikannya dari rencana tes CTS utama dengan cara yang sama seperti pengujian baru.

Jalankan uji CTS-D

Menjalankan rencana pengujian CTS-D dari command line menggunakan run cts --plan cts-developer.

Untuk menjalankan kasus pengujian tertentu, gunakan run cts --include-filter "test_module_name test_name".

Untuk informasi tentang cara menjalankan CTS lengkap, lihat Menjalankan uji CTS.

Penerimaan dan pelepasan

Setelah permintaan pengujian dikirim, tim internal akan meninjaunya untuk memastikan alat ini menguji persyaratan CDD atau perilaku API yang terdokumentasi. Jika pengujiannya bertekad untuk memeriksa persyaratan atau perilaku yang valid, maka tim akan meneruskan kasus pengujian ini kepada engineer Google untuk ditinjau lebih lanjut. Layanan akan menghubungi Anda untuk memberikan masukan{i> <i}tentang bagaimana pengujian itu dapat ditingkatkan sebelum dapat diterima di CTS.

Lihat Jadwal rilis dan informasi cabang untuk detail tentang jadwal rilis CTS.