Kamera dalam Kotak

Android Camera Image Test Suite (ITS) adalah bagian dari Verifikasi Compatibility Test Suite (CTS) Android dan mencakup pengujian yang memverifikasi konten gambar. CTS Verifier mendukung otomatisasi pengujian ITS dengan Camera ITS-in-a-box; dukungan untuk pengujian manual mencakup semua faktor bentuk perangkat Android.

ITS-in-a-box mencakup manfaat berikut:

• Otomatisasi. Tidak diperlukan intervensi manusia selama pengujian.
• Pemecahan masalah yang mudah. Konsistensi lingkungan pengujian menyebabkan lebih sedikit error penyiapan dan meningkatkan kemampuan reproduksi.
• Efisiensi. Kemampuan untuk mencoba lagi kamera/adegan tertentu meningkatkan efisiensi eksekusi pengujian.

Pemilihan rig

ITS-in-a-box terdiri dari kotak plastik yang dipotong laser dari gambar desain berbantuan komputer (CAD), tablet bagan, dan perangkat yang diuji (DUT). Tabel berikut menjelaskan fitur dan spesifikasi untuk berbagai konfigurasi ITS-in-a-box yang tersedia. Untuk memilih rig yang sesuai, pertimbangkan ruang pandang spesifik dan jarak fokus minimum DUT. Untuk sistem kamera dengan sudut pandang 60 hingga 110 derajat dan jarak fokus minimum 22 hingga 31 cm, kami merekomendasikan rig dasar modular karena kemampuan adaptasinya. Jika sistem kamera mencakup lensa telefoto dengan jarak fokus minimum antara 31 cm dan 110 cm, sebaiknya gunakan rig dasar modular dengan ekstensi tele yang sangat cocok dengan jarak fokus lensa. Ekstensi Tele tersedia dalam panjang 50 cm hingga 90 cm.

Rig	Jarak diagram	Rentang FoV kamera DUT (kira-kira)	Fitur
Rig dasar modular	22 cm	60° - 120°	Jejak yang lebih kecil Potongan aperture besar di bagian depan memungkinkan pengujian sistem multi-kamera tanpa potongan yang menghalangi kamera sekunder Rig dapat diputar 90°
Rig dasar modular dan rig ekstensi tele	22 cm - 110 cm*	10° - 120°	Potongan bukaan besar di bagian depan Mendukung pengujian kamera yang memiliki jarak fokus minimum lebih jauh (sebagian besar kamera tele) Panjang rig ekstensi dapat disesuaikan untuk jarak bagan yang berbeda.
WFoV ITS-in-a-box	22 cm	60° - 120°	Area yang luas memungkinkan banyak posisi pemasangan DUT Dukungan untuk DUT besar seperti tablet
RFoV ITS-in-a-box	31 cm	60° - 90°	Tablet diagram Sistem penerangan internal
ITS-in-a-box Gen2	31 cm	60° - 90°	Diagram kertas Sistem penerangan internal

Jarak diagram	Persentase penskalaan adegan	Gambar
31 cm	33%
50 cm	50%
80 cm	100%

Untuk mulai menggunakan ITS-in-a-box Kamera:

1. Beli atau bangun ITS-in-a-box modular, WFoV, atau RFoV dan Sensor Fusion.
2. Mengonfigurasi tablet dengan software ITS Kamera.
3. Jalankan pengujian.
4. Dapatkan hasil dari DUT.

Mengonfigurasi tablet

Bagian ini memberikan petunjuk langkah demi langkah untuk menyiapkan tablet agar dapat digunakan dengan tes ITS Kamera yang terletak di direktori CameraITS. Petunjuk ini menggunakan Pixel C sebagai contoh tablet. Untuk mengetahui informasi tentang persyaratan dan rekomendasi tablet, lihat Persyaratan tablet.

Catatan: Skrip Python ITS Kamera secara otomatis menetapkan opsi berikut di tablet untuk Anda:
Setelan > Layar > Tidur > Setelah 30 menit tidak ada aktivitas
Kecerahan adaptif > NONAKTIF

1. Isi daya tablet dan nyalakan. Jika diminta untuk menyiapkan akun, lewati (ITS Kamera tidak memerlukan akun yang dipasangkan dengan tablet).
2. Update tablet ke Android 7.0 atau yang lebih tinggi. Android 6.x dan versi yang lebih lama tidak mendukung ITS Kamera.
3. Aktifkan mode developer.
4. Kembali ke Setelan, lalu pilih Opsi developer.

   Aktifkan opsi	Aktif Tetap terjaga Proses debug USB (Memungkinkan host menjalankan tablet dalam mode debug. Saat Anda menghubungkan tablet ke host untuk pertama kalinya, tablet akan meminta Izinkan proses debug USB? Jika tablet tidak menampilkan dialog proses debug, lepaskan lalu hubungkan kembali tablet.)
   Nonaktifkan opsi	Pembaruan sistem otomatis Verifikasi aplikasi melalui USB

5. Tentukan ID DUT dan diagram dengan menjalankan $ adb devices untuk mencantumkan perangkat yang tersedia. Untuk menentukan device_id dan chart_id, hubungkan dan cabut perangkat, lalu amati perangkat yang terhubung dan terputus.
6. Lakukan tiga kali uji coba untuk menyembunyikan petunjuk dan perintah pengguna yang dapat menutupi diagram di layar tablet.
   1. Posisikan tablet menghadap ke atas di atas meja (jangan pasang tablet ke panel belakang kotak).
   2. Jalankan perintah berikut:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Adegan 2 dan 3 mengharuskan tablet menampilkan gambar, sehingga tablet akan meminta Izinkan Drive mengakses foto, media, dan file di perangkat Anda?. Hapus perintah ini (dan cegah perintah di masa mendatang) dengan menekan Izinkan.
   3. Jalankan kembali perintah tersebut. Tablet akan meminta Simpan salinan file ini? dan menyarankan Google Drive. Hapus perintah ini (dan cegah perintah di masa mendatang) dengan menekan ikon Drive, lalu Batal untuk upload ke drive.
   4. Terakhir, jalankan tools/run_all_tests.py dan konfirmasi bahwa adegan berubah secara otomatis saat skrip berganti-ganti adegan. Meskipun sebagian besar pengujian gagal (karena kamera tidak diarahkan ke kartu), Anda dapat memverifikasi bahwa tablet berganti-ganti adegan dengan benar tanpa menampilkan perintah atau pop-up lain di layar.

Menjalankan pengujian

Sebelum menjalankan ITS-in-a-box, pastikan penyiapan pengujian Anda mencakup hardware dan software berikut:

• Satu (1) ITS-in-a-box
• Satu (1) tablet 10 inci resolusi tinggi untuk menampilkan adegan, S/N: 5811000011
• Satu (1) DUT yang telah menginstal aplikasi CTS Verifier 7.0_8+. Contoh DUT:
  • Satu (1) Pixel NOF26W untuk pengujian kamera belakang(0), S/N: FA6BM0305016. Untuk menginstal aplikasi CTS Verifier, ekstrak android-cts-verifier.zip lalu jalankan

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Menjalankan adegan berbasis tablet

Untuk menjalankan adegan 0 hingga 4, 6, dan scene_change di kamera belakang:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Contoh:

Mencoba lagi adegan

Anda dapat mencoba ulang adegan untuk satu kamera:

• Untuk mencoba kembali adegan di satu kamera:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Jalankan adegan 5

Scene 5 memerlukan penyiapan khusus dengan pencahayaan tertentu (untuk mengetahui detailnya, lihat CameraITS.pdf di CTS Verifier, yang dapat Anda download di Download Compatibility Test Suite). Anda harus menjalankan adegan 5 secara terpisah (di luar kotak) dan dengan TEST_BED_MANUAL testbed.

Untuk menjalankan adegan 5 untuk kamera depan dan belakang pada satu perangkat:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Mendapatkan hasil

Anda dapat melihat hasil selama pengujian dan menyimpan hasil yang telah selesai sebagai laporan.

• Lihat hasil. Untuk menyimpan hasil ITS Kamera sebagai laporan:
  1. Tekan Lulus dan simpan laporan.
     
     Gambar 3. Laporan ITS kamera
  2. Tarik laporan dari perangkat:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Ekstrak file laporan dan lihat test_result.xml.
     
     Gambar 4. Laporan ITS kamera
     

Persyaratan tablet

Untuk Android 15 dan yang lebih tinggi, tablet yang digunakan sebagai tampilan diagram ITS harus berada dalam daftar yang diizinkan untuk tablet berikut. Untuk mengetahui daftar tablet yang mendukung pengujian adegan dalam kondisi cahaya redup, lihat Tablet yang didukung untuk adegan dalam kondisi cahaya redup. Untuk Android 14 atau yang lebih rendah, lihat Persyaratan tablet untuk Android 14 dan yang lebih rendah.

Tablet dalam daftar yang diizinkan dipilih berdasarkan kriteria berikut:

• Ukuran layar sekitar 10 inci dengan resolusi layar lebih besar dari 1920 x 1200 piksel.
• Tidak boleh memiliki kedipan terukur yang disebabkan oleh peredupan layar yang dikontrol modulasi lebar pulsa (PWM).
• Dapat menjalankan perintah adb yang dikirim oleh pengujian ITS dan menampilkan gambar diagram dengan kecerahan layar yang diinstruksikan.

Nilai brightness harus ditetapkan di config.yml sesuai dengan model tablet. Untuk menentukan apakah model tablet Anda sesuai dengan nama perangkat di daftar yang diizinkan, cetak nilai ro.product.device dengan menjalankan perintah adb adb shell getprop | grep 'ro.product.device'.

Tablet yang didukung untuk adegan cahaya rendah

Persyaratan tablet untuk Android 14 dan yang lebih lama

Tablet harus memiliki ukuran layar sekitar 10 inci dengan resolusi layar lebih dari 1920 x 1200 piksel. Tablet tidak boleh menggunakan modulasi lebar pulsa (PWM) untuk menetapkan tingkat kecerahan. Nilai brightness harus ditetapkan di config.yml sesuai dengan model tablet. Tabel di bawah mencantumkan tablet yang direkomendasikan untuk pengujian ITS beserta versi rilis Android untuk DUT yang kompatibel dengan tablet tersebut.

Pertanyaan umum (FAQ)

P1: Bagaimana cara menentukan rig pengujian yang saya butuhkan untuk perangkat saya?

Pengujian RFoV ITS-in-a-box revisi 1 menguji kamera RFoV untuk pengujian adegan tablet di direktori CameraITS/tests. RFoV ditentukan sebagai 60° < FoV < 90°. Untuk kamera dengan FoV yang lebih besar, lampu mungkin muncul dalam gambar atau diagram mungkin mencakup area yang terlalu kecil dalam FoV, sehingga memengaruhi hasil pengujian.

WFoV ITS-in-a-box revisi 2 menguji kamera WFoV untuk pengujian adegan tablet di direktori CameraITS/tests. WFoV didefinisikan sebagai FoV >= 90°. Rig pengujian revisi 2 secara fungsional identik dengan revisi 1, tetapi lebih besar. Rangkaian pengujian revisi 2 dapat menguji kamera RFoV dan WFoV di Android 9 dan yang lebih tinggi. Mengingat jejak yang lebih besar, revisi 2 ideal jika DUT adalah tablet

Rig dasar modular menguji kamera WFoV untuk pengujian adegan tablet di direktori CameraITS/tests. WFoV ditentukan sebagai FoV >= 90°. Rig dasar modular dapat menguji kamera RFoV dan WFoV untuk perangkat yang menjalankan Android 9 dan yang lebih tinggi. Perangkat ini juga mendukung rig ekstensi tele yang dapat dipasang untuk menguji kamera tele dengan jarak fokus minimum yang lebih jauh. Rig dasar modular secara fungsional identik dengan ITS-in-a-box WFoV, tetapi lebih kecil.

kotak penggabungan sensor menguji offset waktu kamera/giroskop dan sinkronisasi frame sistem multi-kamera dengan pengujian di scenes=sensor_fusion. Offset pengaturan waktu giroskop/kamera kurang dari 1 md diperlukan untuk tanda fitur REALTIME.

Perangkat multi-kamera dapat diuji dengan satu rig untuk pengujian ITS statis dan rig penggabungan sensor jika kamera memiliki tanda fitur REALTIME.

Kumpulan contoh konfigurasi disediakan dalam tabel di bawah.

Q2: Bagaimana cara menentukan rig pengujian mana yang sedang digunakan?

Untuk menentukan rig pengujian yang benar, pastikan parameter jarak kartu sudah benar. Rig pengujian rev1 (RFoV) memiliki jarak diagram 31 cm, dan rig rev2 (WFoV) memiliki jarak diagram 22 cm. Secara default, jarak diagram ditetapkan ke 31 cm.

Android 10 ke Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 dan yang lebih baru

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

Q3: Bagaimana cara mengontrol kecerahan tablet?

Secara default, kecerahan tablet ditetapkan ke 96.

Untuk mengubah kecerahan di tablet yang menjalankan Android 7.0 hingga Android 9, jalankan:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Untuk mengubah kecerahan di tablet yang menjalankan Android 10 hingga 11, nilai dapat diubah di command line dengan menambahkan tanda brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Untuk mengubah kecerahan di tablet yang menjalankan Android 12 dan yang lebih tinggi, jalankan:

edit config.yml
brightness: 96 → brightness: 192

Q4: Bagaimana cara men-debug satu pengujian?

Pengujian dapat dijalankan satu per satu untuk tujuan proses debug, tetapi hasilnya tidak dilaporkan ke CtsVerifier.apk kecuali seluruh adegan dijalankan.

Untuk menjalankan adegan individual di Android 11 dan yang lebih rendah:

1. Muat adegan dengan menambahkan tanda scenes di tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Tekan Control+C untuk menghentikan pengujian setelah adegan dicatat sebagai dimuat ke stdout.

   Jika adegan yang benar sudah ada di layar, aktifkan layar:

   python tools/wake_up_screen.py screen=#
   

3. Menjalankan pengujian individual.

   python tests/scene#/test_*.py device=# camera=#

   Kemudian, plot dibuat di direktori lokal dan stdout dan stderr dicetak ke layar.

   Untuk mendapatkan informasi selengkapnya untuk proses debug, tambahkan pernyataan print ke skrip. Untuk meningkatkan output pengujian untuk proses debug, tambahkan flag debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

Hasil dicetak ke layar lokal dan gambar disimpan di direktori lokal, bukan di direktori /tmp/tmp### yang dihasilkan saat menjalankan tools/run_all_tests.py.

Untuk menjalankan adegan individual di Android 12 dan yang lebih baru:

1. Edit file config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Jalankan pengujian satu per satu.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Hasil dicetak di direktori /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ yang diurutkan berdasarkan waktu proses.

Q5: Mengapa saya perlu menjalankan pengujian yang gagal sebagai satu adegan utuh, bukan menjalankan ulang pengujian satu per satu?

Pengujian dapat dijalankan satu per satu untuk tujuan proses debug, tetapi hasilnya tidak dilaporkan ke CtsVerifier.apk kecuali seluruh adegan dijalankan.

ITS Kamera memastikan bahwa aplikasi pihak ketiga memiliki antarmuka kamera yang kompatibel. Mirip dengan pengujian unit, setiap pengujian menekankan satu spesifikasi dalam kamera. Untuk mendeteksi perilaku yang tidak dapat diandalkan, pengujian ini diharapkan berhasil sebagai grup untuk seluruh adegan. Misalnya, meskipun satu pengujian yang tidak andal dapat lulus saat adegan keseluruhan dijalankan kembali, beberapa pengujian yang tidak andal sulit lulus.

Sebagai contoh ekstrem, pertimbangkan kasus ketika ada 10 pengujian dalam adegan yang masing-masing memiliki probabilitas 50% untuk menampilkan PASS. Dengan menjalankan setiap pengujian satu per satu, ada kemungkinan besar operator dapat membuat kamera lulus ITS Kamera. Namun, jika pengujian dijalankan secara gabungan sebagai adegan, hanya ada peluang 0,1% bahwa adegan tersebut akan lolos.

T6: Bagaimana cara menjalankan satu adegan atau menyusun ulang adegan yang akan dijalankan?

Secara default, skrip tools/run_all_tests.py menjalankan semua adegan secara berurutan. Namun, adegan dapat dijalankan satu per satu atau dalam urutan tertentu dan dilaporkan ke CtsVerifier.apk.

Untuk menjalankan adegan tertentu (misalnya, adegan 2) atau menjalankan lebih dari satu adegan dalam urutan tertentu di Android 11 atau yang lebih rendah:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Untuk menjalankan adegan satu per satu atau menjalankan lebih dari satu adegan dalam urutan tertentu di Android 12 dan yang lebih tinggi:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Parameter tambahan ditetapkan dalam file config.yml.

Q7: Sejumlah pengujian adegan 1 gagal dengan penyiapan tablet, tetapi lulus dengan kartu uji kertas. Apa yang salah?

Pastikan tablet dan lingkungan pengujian memenuhi spesifikasi berikut.

Spesifikasi tablet

Pastikan tablet memenuhi spesifikasi berikut:

• Ukuran layar (inci): 10 inci
• Ukuran layar (piksel): lebih besar dari 1920 x 1200 piksel

Untuk mengetahui detail selengkapnya, lihat Persyaratan tablet.

Kecerahan tablet

Pengujian mungkin tidak mendapatkan hasil yang benar jika kecerahan layar tablet terlalu rendah.

Untuk mengetahui detail selengkapnya, lihat Bagaimana cara mengontrol kecerahan tablet?

Tingkat pencahayaan kotak (memerlukan pengukur lux)

Pastikan nilai lux target saat tablet dibuka berada di antara 100 dan 300.

Jika tingkat lux terlalu tinggi, scene1/test_param_flash_mode.py akan menampilkan FAIL. Jika tingkat lux terlalu rendah, beberapa pengujian akan gagal.

T8: Bagaimana cara men-debug pengujian gabungan sensor?

1. Pastikan Anda berada di grup dialout.

   groups | egrep ‘dialout'

2. Pastikan pengontrol penggabungan sensor terhubung dengan menentukan apakah Microchip Technology terhubung ke port USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Jalankan pengujian beberapa kali untuk mendapatkan distribusi upaya pengujian dengan perintah berikut.

   Di Android 11 atau yang lebih lama:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   Di Android 12 dan yang lebih baru:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Parameter tambahan ditetapkan dalam file config.yml.

   Output eksekusi berada di folder /tmp/tmp### yang dibuat di bawah folder sensor_fusion_#, dengan # adalah nomor eksekusi. Alasan umum kegagalan adalah:

   1. Ponsel tidak berada di tengah dengan benar.
   2. Tidak ada cukup fitur yang ditemukan dalam gambar (sering kali masalah FoV atau pencahayaan).
   3. FAIL yang ditampilkan valid, dan offset waktu antara kamera dan giroskop harus dikoreksi.

P9: Informasi apa yang harus saya sertakan saat melaporkan bug pengujian?

Saat melaporkan bug pengujian, sertakan file dan gambar yang dihasilkan untuk pengujian.

1. Jika Anda menjalankan pengujian melalui tools/run_all_tests.py, lampirkan direktori /tmp/ yang di-zip ke bug.
2. Jika Anda menjalankan pengujian itu sendiri, lampirkan semua output layar dan gambar yang dihasilkan ke bug.

Sertakan juga laporan bug. Setelah pengujian yang dimaksud gagal, gunakan perintah berikut untuk membuat laporan bug dan lampirkan file zip yang dihasilkan ke bug.

adb -s device_id bugreport

Q10: Bagaimana cara menjalankan adegan pengujian sensor_fusion dengan kamera yang memiliki jarak fokus minimum yang menghasilkan gambar buram pada jarak bagan 25 cm?

Jika kamera Anda tidak dapat fokus pada jarak 25 cm, lepaskan panel pemasangan kartu dari kotak penggabungan sensor. Tempatkan diagram pada jarak yang memungkinkan DUT memfokuskan dan mengubah chart_distance dalam config.yml ke jarak yang diukur antara DUT dan diagram. Gambar 5 menunjukkan contoh cara mengukur jarak bagan dalam situasi ini.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

Q11: Bagaimana cara menjalankan adegan pengujian tablet untuk kamera dengan jarak fokus minimum yang menghasilkan gambar buram pada jarak bagan 31 cm?

Jika kamera Anda tidak dapat menghasilkan gambar yang cukup tajam saat diuji pada jarak 31 cm (kedalaman rig pengujian RFoV), pasang kamera di depan rig pada jarak yang memungkinkan adegan bagan mengisi sekitar 60% bidang pandang (FoV) kamera dengan gambar yang lebih tajam. Jarak ini bisa kurang dari jarak fokus minimum kamera. Tinggalkan chart_distance di config.yml pada 31 cm. Penskalaan diagram di tablet ditentukan oleh FoV kamera seperti yang ditunjukkan dalam tabel berikut:

Q12: Dengan API multi-kamera logis, pengujian mana yang dijalankan di kamera mana?

Jika kamera Anda menggunakan REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, semua pengujian ITS yang didukung dijalankan di kamera logis tingkat teratas. Subkumpulan pengujian ITS dijalankan di sub-kamera fisik, dan pengujian ini tercantum di tools/run_all_tests.py dalam konstanta SUB_CAMERA_TESTS.