Tổng quan về Camera ITS

1. Mở ứng dụng Trình xác minh CTS. Trong trình đơn kiểm thử, hãy chọn Camera ITS Test (Kiểm thử ITS camera). Đối với Android 17 trở lên, các bài kiểm thử sensor_fusion và feature_combination nằm trong một hoạt động bổ sung có tên là Camera ITS Sensor Fusion Rig Test (Kiểm thử thiết bị kết hợp cảm biến ITS camera).

2. Trên máy chủ lưu trữ, hãy chạy các bài kiểm thử ITS từ thư mục CameraITS/. Ví dụ: đối với thiết bị có camera trước và sau, hãy chạy lệnh sau:

   python tools/run_all_tests.py

   Tập lệnh sẽ lặp lại các camera và cảnh kiểm thử dựa trên tệp config.yml. Đối với các thiết lập gỡ lỗi, bạn nên chạy một trong các cảnh scene2 với một bài kiểm thử để có thời gian xử lý nhanh nhất.

   Đối với quá trình kiểm thử thủ công, trước khi bắt đầu chạy tập hợp các bài kiểm thử ITS trên mỗi cảnh, tập lệnh sẽ chụp ảnh cảnh hiện tại, lưu ảnh đó ở định dạng JPEG, in đường dẫn đến tệp JPEG vào bảng điều khiển và yêu cầu người dùng xác nhận xem hình ảnh đó có ổn không. Quy trình chụp và xác nhận này sẽ lặp lại cho đến khi người dùng xác nhận hình ảnh đó ổn. Sau đây là các thông báo trong quy trình này.

   Preparing to run ITS on camera 0
   Start running ITS on camera:  0
   Press Enter after placing camera 0 to frame the test scene:
   scene1_1
   The scene setup should be: A grey card covering at least the   middle 30% of the scene
   Running vendor 3A on device
   Capture an image to check the test scene
   Capturing 1 frame with 1 format [yuv]
   Please check scene setup in /tmp/tmpwBOA7g/0/scene1_1.jpg
   Is the image okay for ITS scene1_1? (Y/N)
   

   Mỗi lần chạy tập lệnh sẽ in ra một nhật ký cho biết PASS, FAIL, FAIL* hoặc SKIP cho mỗi bài kiểm thử ITS. FAIL* cho biết bài kiểm thử không thành công nhưng vì bài kiểm thử chưa được bắt buộc, nên bài kiểm thử sẽ báo cáo là PASS cho CtsVerifier. SKIP cho biết bài kiểm thử đã thành công vì thiết bị không quảng cáo khả năng cơ bản đang được kiểm thử. Ví dụ: nếu một thiết bị không quảng cáo thông qua các giao diện camera rằng thiết bị đó hỗ trợ DNG, thì các bài kiểm thử liên quan đến việc chụp tệp DNG sẽ bị bỏ qua và được tính là PASS.

3. Để xác nhận rằng các bài kiểm thử đã đáp ứng các yêu cầu kiểm thử, hãy nhấn vào nút dấu kiểm màu xanh lục. Mục Camera ITS Test (Kiểm thử ITS camera) trong trình đơn kiểm thử Trình xác minh CTS sau đó sẽ chuyển sang màu xanh lục và cho biết điện thoại đã vượt qua Camera ITS.

Kiểm thử DUT song song

Các thiết bị chạy Android 14 trở lên hỗ trợ quá trình kiểm thử DUT song song. Điều này cho phép bạn kiểm thử DUT song song với nhiều thiết bị để tăng tốc quá trình kiểm thử tổng thể. Ví dụ: quá trình kiểm thử song song cho phép bạn kiểm thử camera 0 trong một thiết bị và camera 1 trong một thiết bị khác cùng lúc. Đối với Android 17 trở lên, vì các bài kiểm thử Camera ITS được chia thành 2 hoạt động, nên bạn có thể chạy các bài kiểm thử sensor_fusion và feature_combination trên một DUT và các bài kiểm thử khác trên một DUT khác song song. Tất cả quá trình kiểm thử cho các phiên kiểm thử song song đều được tổng hợp trên phiên Trình xác minh CTS trên DUT tham chiếu. Bạn phải chạy quá trình kiểm thử song song bằng tính năng kiểm soát ánh sáng Arduino vì tính năng kiểm soát ánh sáng thủ công không được hỗ trợ trong quá trình kiểm thử song song. Đảm bảo rằng một kênh khác trên cùng một bộ điều khiển Arduino kiểm soát ánh sáng cho mỗi thiết bị.

Sau đây là mẫu tệp config.yml xác định 3 testbed để chạy song song.

TestBeds:
  - Name: TEST_BED_TABLET_SCENES_INDEX_0
    Controllers:
        AndroidDevice:
          - serial: <device-id-0>
            label: dut
          - serial: <tablet-id-0>
            label: tablet
    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      lighting_cntl: "arduino"
      lighting_ch: <controller-channel-0>
      camera: 0
      scene: <scene-name>  # if <scene-name> left as-is runs all scenes
      foldable_device: "False"

  - Name: TEST_BED_TABLET_SCENES_INDEX_1
    Controllers:
        AndroidDevice:
          - serial: <device-id-1>
            label: dut
          - serial: <tablet-id-1>
            label: tablet
    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      lighting_cntl: "arduino"
      lighting_ch: <controller-channel-1>
      camera: 1
      scene: <scene-name>  # if <scene-name> left as-is runs all scenes
      foldable_device: "False"

  # TEST_BED_SENSOR_FUSION represents testbed index 2
  # Parallel sensor_fusion is currently unsupported due to Arduino requirements
  - Name: TEST_BED_SENSOR_FUSION
    # Test configuration for sensor_fusion
    Controllers:
        AndroidDevice:
          - serial: <device-id>
            label: dut
    TestParams:
      fps: 30
      img_size: 640,480
      test_length: 7
      debug_mode: "False"
      chart_distance: 25
      rotator_cntl: "arduino"
      rotator_ch: <controller-channel-2>
      camera: <camera-id>
      foldable_device: "False"
      tablet_device: "False"
      lighting_cntl: "None"
      lighting_ch: <controller-channel>
      scene: "sensor_fusion"

Để chạy các testbed song song, hãy sử dụng lệnh sau:

for i in 0 1 2; do python3 tools/run_all_tests.py testbed_index=$i num_testbeds=3 & done; wait

Gửi kết quả kiểm thử tổng hợp

Trong Android 17 trở lên, bạn có thể gửi kết quả kiểm thử tổng hợp của Camera ITS để phê duyệt bản dựng. Trình xác minh CTS cho phép bạn kiểm thử đồng thời nhiều cảnh trên nhiều thiết bị và tổng hợp kết quả kiểm thử từ nhiều báo cáo Trình xác minh CTS (từ các lần chạy hoặc thiết bị kiểm thử khác nhau) thành một lần gửi duy nhất, hợp nhất.

Quy trình gửi

Để gửi kết quả tổng hợp của Camera ITS để phê duyệt bản dựng, hãy làm theo các bước sau:

1. Chuẩn bị thiết bị: Thu thập từ 2 đến 3 thiết bị đang được kiểm thử (DUT) có cùng vân tay số của phiên bản.
2. Cài đặt Trình xác minh CTS: Cài đặt APK Trình xác minh CTS mới nhất. Bạn có thể lấy APK này từ trình khám phá bản dựng được cung cấp.

3. Thực thi các bài kiểm thử song song:

   1. Gắn các DUT vào các thiết bị riêng biệt.
   2. Chạy đồng thời các cảnh Camera ITS khác nhau trên mỗi thiết bị.
   3. Tập hợp báo cáo: Lấy báo cáo Trình xác minh CTS sau mỗi lần chạy. Báo cáo này bao gồm cả những báo cáo có cảnh không thành công. Chỉ chạy lại các cảnh không thành công trong các lần chạy tiếp theo.

4. Gửi báo cáo: Tải nhiều báo cáo Trình xác minh CTS được thu thập từ tất cả các thiết bị lên.

5. Xem xét kết quả: Sau khi tải báo cáo lên, hãy xem xét kết quả tổng hợp:

   • Phần Test Analysis (Phân tích kiểm thử) cho thấy danh sách đầy đủ tất cả các cảnh đã thực thi.

   • Các cảnh không được thực thi hoặc không thành công được liệt kê trong phần Failed (Không thành công).

     

     Hình 1. Tài liệu về các cảnh không được thực thi hoặc không thành công.

   • Các cảnh thành công được liệt kê trong phần Aggregated Pass (Tổng hợp thành công).

     

     Hình 2. Các cảnh được phân loại là Tổng hợp thành công

Trạng thái phê duyệt bản dựng

Bạn sẽ được phê duyệt bản dựng sau khi tất cả các cảnh bắt buộc đã hoàn tất thành công trong các báo cáo tổng hợp.

Mô hình nhiễu DNG

Các thiết bị quảng cáo khả năng chụp RAW hoặc DNG phải cung cấp mô hình nhiễu trong siêu dữ liệu kết quả chụp của mỗi bức ảnh RAW. Mô hình nhiễu này phải được nhúng vào HAL camera cho mỗi camera (ví dụ: camera trước và sau) trên thiết bị tuyên bố hỗ trợ.

Triển khai mô hình nhiễu

Để triển khai mô hình nhiễu, hãy làm theo các bước sau để tạo mô hình nhiễu và nhúng mô hình đó vào HAL camera.

1. Để tạo mô hình nhiễu cho mỗi camera, hãy chạy tập lệnh dng_noise_model.py trong thư mục tools. Thao tác này sẽ xuất ra một đoạn mã C. Để biết thêm thông tin về cách thiết lập camera và môi trường chụp, hãy xem tài liệu DngNoiseModel.pdf trong thư mục tools.

2. Để triển khai mô hình nhiễu cho thiết bị, hãy cắt và dán đoạn mã C vào HAL camera.

Xác thực mô hình nhiễu

Bài kiểm thử ITS tự động tests/scene1_1/test_dng_noise_model.py sẽ xác thực mô hình nhiễu bằng cách xác minh rằng các giá trị nhiễu cho độ phơi sáng và độ lợi của bức ảnh được cung cấp trong dữ liệu camera là chính xác.

Các bài kiểm thử thành công một phần (trạng thái kiểm thử PASS*)

Trong Android 17 trở lên, trạng thái thành công một phần (PASS*) cho biết một bài kiểm thử đã thành công, nhưng các chỉ số hiệu suất của bài kiểm thử đó rất gần với ngưỡng thành công được xác định trước. Mặc dù bài kiểm thử đáp ứng các tiêu chí thành công, nhưng việc gần với ranh giới không thành công cho thấy cần phải kiểm tra kỹ hơn.

Lợi ích của trạng thái thành công một phần

Trạng thái PASS* mang lại một số lợi ích:

• Hệ thống cảnh báo sớm: Xác định các bài kiểm thử sắp không thành công, cho phép các nhóm giải quyết vấn đề trước khi chúng dẫn đến việc không thành công hoàn toàn.

• Tối ưu hoá chủ động: Khuyến khích các nhóm tối ưu hoá các bài kiểm thử và mã đang hoạt động ở mức thấp hơn của phạm vi chấp nhận được, cải thiện độ ổn định tổng thể.

• Cải thiện chất lượng: Giúp duy trì tiêu chuẩn chất lượng cao hơn bằng cách gắn cờ các khu vực có thể dễ bị hồi quy trong tương lai với các thay đổi nhỏ về mã.

• Giảm thời gian gỡ lỗi: Bằng cách phát hiện sớm các bài kiểm thử PASS*, bạn có thể giảm đáng kể thời gian và công sức cần thiết để gỡ lỗi các lỗi hoàn toàn trong tương lai.

Thông tin chi tiết về PASS*

Trạng thái PASS* bao gồm những nội dung sau:

• Xác định ngưỡng: Các ngưỡng thành công một phần cụ thể được xác định cho từng bài kiểm thử có liên quan trong Camera ITS.

• Phát hiện tự động: Hệ thống tự động hoá kiểm thử sẽ phát hiện và phân loại các bài kiểm thử là PASS* dựa trên các ngưỡng đã xác định.

• Cơ chế cảnh báo: Các nhóm nhận được cảnh báo tự động cho mọi bài kiểm thử được gắn cờ là PASS*, hướng dẫn họ điều tra bài kiểm thử cụ thể và các chỉ số của bài kiểm thử đó.

• Báo cáo: Các trạng thái thành công một phần được chỉ định rõ ràng trong các báo cáo và trang tổng quan kiểm thử để dễ dàng xem hơn dưới dạng PASS* trong báo cáo ItsTestSummary, tương tự như Fail* đối với các bài kiểm thử not_yet_mandated. Bài kiểm thử duy trì trạng thái màu xanh lục vì bài kiểm thử tiếp tục thành công trong các ngưỡng đã thiết lập để tránh gây nhầm lẫn thêm. Trạng thái PASS* chỉ áp dụng cho một lớp kiểm thử, chứ không áp dụng cho toàn bộ cảnh. Ví dụ: Scene_0 có thể được coi là PASS ngay cả khi test_jitter và test_metadata là PASS*.

• Giám sát: Dữ liệu hiệu suất được thu thập trên các bài kiểm thử thành công một phần trên một thiết bị. Điều này cho phép giám sát các cải tiến camera trong tương lai do OEM thực hiện nếu các bài kiểm thử này chuyển sang trạng thái PASS.

Sau đây là ví dụ về kết quả kiểm thử có PASS*:

INFO:root:Reporting camera 1 ITS results to CtsVerifier
INFO:root:ITS results to CtsVerifier: {'scene0': {'result': 'PASS', 'TEST_STATUS': [{'test': 'test_jitter', 'status': 'PASS*'}, {'test': 'test_metadata', **'status': 'PASS*'**}, {'test': 'test_request_capture_match', 'status': 'PASS'}, {'test': 'test_sensor_events', 'status': 'PASS'}, {'test': 'test_solid_color_test_pattern', 'status': 'PASS'}, {'test': 'test_test_patterns', 'status': 'SKIP'}, {'test': 'test_tonemap_curve', 'status': 'SKIP'}, {'test': 'test_unified_timestamps', 'status': 'PASS'}, {'test': 'test_vibration_restriction', 'status': 'PASS'}], 'mpc_metrics': [], 'performance_metrics': [], 'feature_query_proto': [], 'feature_query_proto_path': [], 'summary': '/tmp/CameraITS_zojk4sdr/cam_id_1/scene0/scene_test_summary.txt', 'start': 1754330630345, 'end': 1754330764534}, 'scene1_1': {'result': 'NOT_EXECUTED'}, 'scene1_2': {'result': 'NOT_EXECUTED'}, 'scene1_3': {'result': 'NOT_EXECUTED'}, 'scene2_a': {'result': 'NOT_EXECUTED'}, 'scene2_b': {'result': 'NOT_EXECUTED'}, 'scene2_c': {'result': 'NOT_EXECUTED'}, 'scene2_d': {'result': 'NOT_EXECUTED'}, 'scene2_e': {'result': 'NOT_EXECUTED'}, 'scene2_f': {'result': 'NOT_EXECUTED'}, 'scene2_g': {'result': 'NOT_EXECUTED'}, 'scene3': {'result': 'NOT_EXECUTED'}, 'scene4': {'result': 'NOT_EXECUTED'}, 'scene6': {'result': 'NOT_EXECUTED'}, 'scene7': {'result': 'NOT_EXECUTED'}, 'scene8': {'result': 'NOT_EXECUTED'}, 'scene9': {'result': 'NOT_EXECUTED'}, 'scene_extensions/scene_hdr': {'result': 'NOT_EXECUTED'}, 'scene_extensions/scene_low_light': {'result': 'NOT_EXECUTED'}, 'scene_tele/scene6_tele': {'result': 'NOT_EXECUTED'}, 'scene_tele/scene7_tele': {'result': 'NOT_EXECUTED'}, 'scene_video': {'result': 'NOT_EXECUTED'}, 'scene5': {'result': 'NOT_EXECUTED'}, 'sensor_fusion': {'result': 'NOT_EXECUTED'}, 'feature_combination': {'result': 'NOT_EXECUTED'}, 'scene_flash': {'result': 'NOT_EXECUTED'}, 'scene_ip': {'result': 'NOT_EXECUTED'}}

Đối tác nên:

• Theo dõi các cảnh báo PASS*
• Điều tra nguyên nhân gốc của các bài kiểm thử PASS*
• Chủ động tối ưu hoá các bài kiểm thử và mã được xác định là PASS*

Trạng thái PASS* nhằm mục đích nâng cao tính mạnh mẽ và độ tin cậy của quá trình kiểm thử ITS camera, dẫn đến một sản phẩm ổn định và chất lượng cao.