Camera Image Test Suite (ITS) adalah framework untuk menjalankan pengujian pada gambar yang dihasilkan oleh kamera Android. Tujuan umum setiap pengujian di ITS adalah mengonfigurasi kamera dengan cara tertentu, mengambil satu atau beberapa foto, dan memeriksa foto untuk melihat apakah foto tersebut berisi data gambar yang diharapkan. Banyak pengujian memerlukan kamera untuk diarahkan ke target grafik tertentu atau diterangi dengan intensitas tertentu.
ITS terletak di test harness CTS Verifier di
cts/apps/CameraITS
.
Perangkat harus lulus tes ITS yang sesuai dengan fitur yang didukung yang diiklankan oleh framework kamera untuk aplikasi pihak ketiga sebagai subset CTS.
Penyiapan
Untuk menjalankan pengujian ITS, hal berikut harus disiapkan:
- Perangkat yang sedang diuji (DUT)
- Mesin host (misalnya, desktop atau laptop Linux)
- Adegan yang difoto kamera
Penyiapan perangkat yang diuji (DUT)
Untuk menyiapkan DUT, ikuti langkah-langkah berikut:
- Hubungkan DUT ke mesin host melalui USB.
- Memberikan izin bagi host untuk mengakses DUT melalui ADB.
Instal aplikasi CTS Verifier (
CtsVerifier.apk
) ke perangkat. Untuk mengetahui informasi selengkapnya, lihat Menggunakan CTS Verifier.extract root/out/host/linux-x86/cts-verfier/android-cts-verifier.zip
cd android-cts-verifier
adb install -r -g CtsVerifier.apk
Di DUT, luncurkan aplikasi kamera default dan tutup semua jendela yang muncul saat peluncuran untuk menghindari gangguan selama pengujian.
Penyiapan host
ITS mengharuskan mesin host terhubung ke DUT melalui USB, dapat menggunakan ADB untuk kontrol dan komunikasi perangkat, serta telah menginstal software yang diperlukan.
Untuk menyiapkan mesin host, pastikan software berikut telah diinstal.
Android SDK Platform Tools
Fitur Platform Android SDK harus diinstal dan ADB harus berada di jalur yang dapat dieksekusi dari shell atau terminal yang berjalan di komputer host. Untuk versi alat Platform Android SDK yang dirilis secara publik, lihat catatan rilis SDK Platform Tools.
Python
Python harus diinstal di mesin host. Sebaiknya gunakan distribusi Python yang dibundel untuk memastikan dukungan untuk versi yang kompatibel. Untuk mengetahui detail tentang versi Python dan paket yang akan diinstal untuk rilis tertentu, lihat catatan rilis ITS Kamera untuk rilis yang sesuai.
Mobly
Untuk Android 12 dan yang lebih tinggi, framework pengujian Mobly harus diinstal. Mobly memungkinkan Anda menyiapkan DUT dan tablet diagram di class its_base_test
. Untuk menginstal framework pengujian Mobly, jalankan:
pip install mobly
Penyiapan lingkungan
Untuk menyiapkan lingkungan pengujian, jalankan:
cd CameraITS
source build/envsetup.sh
Perintah ini memeriksa penginstalan Python, menyiapkan variabel lingkungan PYTHONPATH
, dan menjalankan pengujian unit pada modul utils/*.py
. Jika tidak ada
error yang dicetak ke terminal, lingkungan siap untuk menjalankan pengujian ITS.
Penyiapan adegan
Untuk menyiapkan adegan, sebaiknya gunakan penyiapan Camera ITS-in-a-box untuk memudahkan otomatisasi, keandalan, dan efisiensi dalam pengujian. Rig pengujian ITS-in-a-box mendukung semua persyaratan pencahayaan, pemusatan, dan perubahan diagram untuk ITS. Selain itu, ITS-in-a-box diperlukan untuk pengujian ekstensi kamera.
Untuk pengujian manual, pastikan hal berikut:
- DUT dipasang di tripod
- DUT diarahkan ke adegan yang benar untuk setiap pengujian. (Skrip pengujian ITS memberikan perintah untuk mengubah penyiapan adegan sebelum memulai pengujian di adegan baru.)
- DUT terhubung ke mesin host melalui USB.
- DUT tidak bergerak selama pengujian berjalan.
- Adegan diterangi dengan sumber cahaya yang stabil dan tidak berfluktuasi. (Jangan menggunakan lampu neon karena akan menyebabkan kedipan.)
Skrip pengujian ITS menampilkan perintah yang meminta pengguna untuk mengubah penyiapan adegan sebelum memulai pengujian di adegan baru.
Orientasi ponsel harus disetel agar kamera mengambil gambar tanpa rotasi. Cara termudah untuk memeriksanya adalah dengan adegan wajah di scene2. Sebagian besar ponsel memiliki orientasi lanskap dengan ponsel diputar berlawanan arah jarum jam untuk kamera belakang dan diputar searah jarum jam untuk kamera depan.
File konfigurasi
Dengan menggunakan framework Mobly, Anda harus membuat file konfigurasi config.yml
untuk
menentukan testbed Mobly. Berikut adalah contoh untuk berbagai kasus penggunaan.
File config.yml berbasis adegan tablet
Berikut adalah contoh file config.yml
untuk adegan berbasis tablet. Untuk pengujian berbasis tablet, kata kunci TABLET
harus ada di nama testbed. Selama
inisialisasi, peluncur pengujian Mobly melakukan inisialisasi parameter dalam file
dan meneruskannya ke setiap pengujian.
TestBeds:
- Name: TEST_BED_TABLET_SCENES
# Test configuration for scenes[0:4, 6, _change]
Controllers:
AndroidDevice:
- serial: 8A9X0NS5Z
label: dut
- serial: 5B16001229
label: tablet
TestParams:
brightness: 192
chart_distance: 22.0
debug_mode: "False" # "True" or "False"; quotes needed
lighting_cntl: <controller-type> # "arduino" or "None"; quotes needed
lighting_ch: <controller-channel>
camera: 0
foldable_device: "False". # set "True" if testing foldable
scene: <scene-name> # if <scene-name> runs all scenes
Untuk memanggil test bed, jalankan tools/run_all_tests.py
. Jika tidak ada nilai command line yang menentukan kamera atau adegan, pengujian akan dijalankan dengan nilai file config.yml
. Jika ada nilai command line untuk kamera atau adegan, nilai ini akan menggantikan nilai di bagian TestParams
dari file config.yml
.
Contoh:
python tools/run_all_tests.py
python tools/run_all_tests.py camera=1
python tools/run_all_tests.py scenes=2,1,0
python tools/run_all_tests.py camera=0 scenes=scene_tele
python tools/run_all_tests.py camera=0.4 scenes=4,scene6_tele
File sensor_fusion scene config.yml
Berikut adalah contoh file config_yml
untuk pengujian sensor_fusion
.
Untuk pengujian sensor_fusion
, kata kunci SENSOR_FUSION
harus ada di nama testbed. Android 13 dan yang lebih tinggi hanya mendukung pengontrol Arduino untuk penggabungan sensor karena pengujian pratinjau dan stabilisasi video.
Android 12 mendukung pengontrol Arduino dan Canakit.
Testbeds
- Name: TEST_BED_SENSOR_FUSION
# Test configuration for sensor_fusion/test_sensor_fusion.py
Controllers:
AndroidDevice:
- serial: 8A9X0NS5Z
label: dut
TestParams:
fps: 30
img_size: 640,480
test_length: 7
debug_mode: "False"
chart_distance: 25
rotator_cntl: arduino
rotator_ch: 1
camera: 0
Untuk menjalankan pengujian sensor_fusion
dengan
kotak penggabungan sensor, jalankan:
python tools/run_all_tests.py scenes=sensor_fusion
python tools/run_all_tests.py scenes=sensor_fusion camera=0
python tools/run_all_tests.py scenes=scene_flash,feature_combination
python tools/run_all_tests.py scenes=checkerboard camera=1
File config.yml beberapa testbed
Berikut adalah contoh file config.yml
dengan beberapa platform pengujian, platform pengujian tablet, dan platform pengujian sensor_fusion
. Testbed yang benar ditentukan
oleh adegan yang diuji.
Testbeds
- Name: TEST_BED_TABLET_SCENES
# Test configuration for scenes[0:4, 6, _change]
Controllers:
AndroidDevice:
- serial: 8A9X0NS5Z
label: dut
- serial: 5B16001229
label: tablet
TestParams:
brightness: 192
chart_distance: 22.0
debug_mode: "False"
chart_loc_arg: ""
camera: 0
scene: <scene-name> # if <scene-name> runs all scenes
- Name: TEST_BED_SENSOR_FUSION
# Test configuration for sensor_fusion/test_sensor_fusion.py
Controllers:
AndroidDevice:
- serial: 8A9X0NS5Z
label: dut
TestParams:
fps: 30
img_size: 640,480
test_length: 7
debug_mode: "False"
chart_distance: 25
rotator_cntl: arduino # cntl can be arduino or canakit
rotator_ch: 1
camera: 0
Pengujian manual file config.yml
Berikut adalah contoh file config.yml
untuk pengujian manual. Mulai
Android 14, pengujian
manual didukung untuk semua pengujian kecuali pengujian
scene_extensions
. Untuk pengujian manual, kata kunci MANUAL
harus ada di nama testbed.
Selain itu, bagian AndroidDevice
tidak dapat menyertakan bagian serial atau label untuk tablet.
TestBeds:
- Name: TEST_BED_MANUAL
Controllers:
AndroidDevice:
- serial: 8A9X0NS5Z
label: dut
TestParams:
debug_mode: "False"
camera: 0
scene: 1
File config.yml pengujian rig Gen2
Berikut adalah contoh file config.yml
dari testbed TEST_BED_GEN2
.
Platform pengujian ini digunakan untuk pengujian scene_ip
, yang menggunakan
rig Gen2](/docs/compatibility/cts/camera-its-box-gen2).
Contoh berikut menunjukkan parameter testbed saat rig Gen2 tersedia dan pengujian scene_ip
tidak dilewati.
Testbeds
- Name: TEST_BED_GEN2
# Test configuration for scene_ip/test_default_jca_ip.py
Controllers:
AndroidDevice:
- serial: <device-id> # quotes needed if serial id entirely numeric
label: dut
TestParams:
debug_mode: "False" # quotes are needed here
chart_distance: 30
rotator_cntl: gen2_rotator # gen2 rig specific. "None" if gen2 rig not available
rotator_ch: 0
camera: <camera-id>
foldable_device: "False" # "True" if testing foldable device
tablet_device: "False" # "True" if testing tablet device
lighting_cntl: gen2_lights # gen2 rig specific. "None" if gen2 rig not available
lighting_ch: 1
scene: scene_ip
Contoh berikut menunjukkan parameter testbed saat rig Gen2 tidak tersedia dan pengujian scene_ip
dilewati.
Testbeds
- Name: TEST_BED_GEN2
# Test configuration for scene_ip/test_default_jca_ip.py
Controllers:
AndroidDevice:
- serial: <device-id> # quotes needed if serial id entirely numeric
label: dut
TestParams:
debug_mode: "False" # quotes are needed here
chart_distance: 30
rotator_cntl: "None" # gen2 rig specific. "None" if gen2 rig not available
rotator_ch: <controller-channel>
camera: <camera-id>
foldable_device: "False" # "True" if testing foldable device
tablet_device: "False" # "True" if testing tablet device
lighting_cntl: "None" # gen2 rig specific. "None" if gen2 rig not available
lighting_ch: <controller-channel>
scene: scene_ip
Untuk menjalankan pengujian scene_ip, gunakan salah satu perintah berikut:
python tests/scene_ip/test_default_jca_ip.py -c config.yml
python tools/run_all_tests.py camera=<camera-id> scenes=scene_ip
Menjalankan pengujian ITS
Bagian ini menjelaskan cara menjalankan pengujian ITS.
Memanggil pengujian
Setelah perangkat, mesin host (termasuk lingkungan), dan adegan fisik disiapkan, jalankan pengujian ITS menggunakan proses berikut.
Buka aplikasi CTS Verifier. Di menu pengujian, pilih Camera ITS Test.
Dari komputer host, jalankan pengujian ITS dari direktori
CameraITS/
. Misalnya, untuk perangkat dengan kamera depan dan belakang, jalankan perintah berikut:python tools/run_all_tests.py
Skrip melakukan iterasi melalui kamera dan adegan pengujian berdasarkan file
config.yml
. Untuk konfigurasi proses debug, sebaiknya jalankan salah satu adeganscene2
dengan satu pengujian untuk penyelesaian tercepat.Untuk pengujian manual, sebelum mulai menjalankan serangkaian pengujian ITS di setiap adegan, skrip mengambil gambar adegan saat ini, menyimpannya sebagai JPEG, mencetak jalur ke JPEG ke konsol, dan meminta pengguna untuk mengonfirmasi apakah gambar tersebut sudah sesuai. Alur ambil dan konfirmasi ini berulang hingga pengguna mengonfirmasi bahwa gambar tersebut sudah sesuai. Berikut adalah pesan dalam alur ini.
Preparing to run ITS on camera 0 Start running ITS on camera: 0 Press Enter after placing camera 0 to frame the test scene: scene1_1 The scene setup should be: A grey card covering at least the middle 30% of the scene Running vendor 3A on device Capture an image to check the test scene Capturing 1 frame with 1 format [yuv] Please check scene setup in /tmp/tmpwBOA7g/0/scene1_1.jpg Is the image okay for ITS scene1_1? (Y/N)
Setiap kali dijalankan, skrip akan mencetak log yang menampilkan
PASS
,FAIL
,FAIL*
, atauSKIP
untuk setiap pengujian ITS.FAIL*
menunjukkan bahwa pengujian gagal, tetapi karena pengujian belum diwajibkan, pengujian akan dilaporkan sebagaiPASS
ke CtsVerifier.SKIP
menunjukkan bahwa pengujian lulus karena perangkat tidak mengiklankan kemampuan dasar yang sedang diuji. Misalnya, jika perangkat tidak mengiklankan melalui antarmuka kamera bahwa perangkat mendukung DNG, pengujian terkait pengambilan file DNG akan dilewati dan dihitung sebagaiPASS
.Untuk mengonfirmasi bahwa pengujian telah memenuhi persyaratan pengujian, ketuk tombol tanda centang hijau. Entri Camera ITS Test di menu pengujian CTS Verifier kemudian akan berwarna hijau dan menandakan bahwa ponsel telah lulus Camera ITS.
Pengujian DUT paralel
Perangkat yang menjalankan Android 14 atau yang lebih tinggi mendukung pengujian DUT paralel. Dengan begitu, Anda dapat menguji DUT secara paralel dengan beberapa platform untuk mempercepat pengujian secara keseluruhan. Misalnya, pengujian paralel memungkinkan Anda menguji kamera 0 di satu rig dan kamera 1 di rig lain secara bersamaan. Semua pengujian untuk sesi pengujian paralel digabungkan pada sesi CTS Verifier di DUT referensi. Anda harus menjalankan pengujian paralel dengan kontrol pencahayaan Arduino, karena kontrol pencahayaan manual tidak didukung dengan pengujian paralel. Pastikan saluran yang berbeda pada pengontrol Arduino yang sama mengontrol pencahayaan untuk setiap rig.
Berikut adalah contoh file config.yml
yang menentukan tiga testbed untuk dijalankan secara paralel.
TestBeds:
- Name: TEST_BED_TABLET_SCENES_INDEX_0
Controllers:
AndroidDevice:
- serial: <device-id-0>
label: dut
- serial: <tablet-id-0>
label: tablet
TestParams:
brightness: 192
chart_distance: 22.0
debug_mode: "False"
lighting_cntl: "arduino"
lighting_ch: <controller-channel-0>
camera: 0
scene: <scene-name> # if <scene-name> left as-is runs all scenes
foldable_device: "False"
- Name: TEST_BED_TABLET_SCENES_INDEX_1
Controllers:
AndroidDevice:
- serial: <device-id-1>
label: dut
- serial: <tablet-id-1>
label: tablet
TestParams:
brightness: 192
chart_distance: 22.0
debug_mode: "False"
lighting_cntl: "arduino"
lighting_ch: <controller-channel-1>
camera: 1
scene: <scene-name> # if <scene-name> left as-is runs all scenes
foldable_device: "False"
# TEST_BED_SENSOR_FUSION represents testbed index 2
# Parallel sensor_fusion is currently unsupported due to Arduino requirements
- Name: TEST_BED_SENSOR_FUSION
# Test configuration for sensor_fusion
Controllers:
AndroidDevice:
- serial: <device-id>
label: dut
TestParams:
fps: 30
img_size: 640,480
test_length: 7
debug_mode: "False"
chart_distance: 25
rotator_cntl: "arduino"
rotator_ch: <controller-channel-2>
camera: <camera-id>
foldable_device: "False"
tablet_device: "False"
lighting_cntl: "None"
lighting_ch: <controller-channel>
scene: "sensor_fusion"
Untuk menjalankan testbed secara paralel, gunakan perintah berikut:
for i in 0 1 2; do python3 tools/run_all_tests.py testbed_index=$i num_testbeds=3 & done; wait
Model derau DNG
Perangkat yang mengiklankan kemampuan untuk merekam RAW atau DNG harus menyediakan model derau dalam metadata hasil pengambilan gambar setiap foto mentah. Model derau ini harus disematkan ke HAL kamera untuk setiap kamera (misalnya, kamera depan dan belakang) di perangkat yang menyatakan dukungan.
Penerapan model derau
Untuk menerapkan model derau, ikuti langkah-langkah berikut untuk membuat model derau dan menyematkan model ke dalam HAL kamera.
Untuk membuat model derau untuk setiap kamera, jalankan skrip
dng_noise_model.py
di direktoritools
. Tindakan ini akan menghasilkan cuplikan kode C. Untuk informasi selengkapnya tentang cara menyiapkan kamera dan lingkungan pengambilan gambar, lihat dokumenDngNoiseModel.pdf
di direktoritools
.Untuk menerapkan model derau bagi perangkat, potong dan tempel cuplikan kode C ke dalam HAL kamera.
Validasi model derau
Pengujian ITS otomatis tests/scene1_1/test_dng_noise_model.py
memvalidasi model derau dengan memverifikasi bahwa nilai derau untuk eksposur dan gain bidikan yang diberikan dalam data kamera sudah benar.