Примечания к выпуску пакета тестирования изображения камеры Android 12

В релиз Android 12 включен ряд изменений в Camera ITS . На этой странице кратко описаны изменения, которые можно разделить на четыре основные категории:

• Рефакторинг на Python 3
• Внедрение фреймворка тестирования Mobly
• Тестовые изменения
• Новые тесты

Переработка кода на Python 3.

В связи с прекращением поддержки Python 2.7 в январе 2020 года весь код Camera ITS был переписан на Python 3. Для работы в Android 12 требуются следующие версии Python и библиотеки:

• Python 3.7.9 или Python 3.7.10
• OpenCV 3.4.2
• Numpy 1.19.2
• Matplotlib 3.3.2
• Scipy 1.5.2
• pySerial 3.5
• Подушка 8.1.0
• PyYAML 5.3.1

Основной скрипт запуска тестов, tools/run_all_tests.py , остался таким же, как в версиях Android 11 или ниже, и был переработан для использования Python 3.

Все отдельные тесты переработаны и используют новый класс настройки тестов, определенный в tests/its_base_test.py . Большинство названий тестов и их функциональность остались прежними. В Android 12 все отдельные тесты теперь загружают свои сцены. Хотя загрузка сцен для каждого теста увеличивает общее время тестирования, это позволяет отлаживать отдельные тесты.

Для получения более подробной информации об изменениях в отдельных тестах см. раздел «Изменения в тестах» .

Следующие модули Python были переработаны и получили новые названия:

• pymodules/its/caps.py → utils/camera_properties_utils.py
• pymodules/its/cv2image.py → utils/opencv_processing_utils.py
• pymodules/its/device.py → utils/its_session_utils.py
• pymodules/its/error.py → utils/error_util.py
• pymodules/its/image.py → utils/image_processing_utils.py
• pymodules/its/objects.py → utils/capture_request_utils.py
• pymodules/its/target.py → utils/target_exposure_utils.py
• tools/hw.py → utils/sensor_fusion_utils.py

Внедрение фреймворка тестирования Mobly

Mobly — это тестовая среда на основе Python, поддерживающая тестовые сценарии, требующие использования нескольких устройств с индивидуальными аппаратными настройками. Camera ITS использует тестовую инфраструктуру Mobly для обеспечения лучшего контроля и логирования тестов.

Система Camera ITS использует тестовую инфраструктуру Mobly для улучшения контроля и логирования тестов. Mobly — это тестовая среда на основе Python, поддерживающая тестовые сценарии, требующие использования нескольких устройств с индивидуальными аппаратными настройками. Для получения дополнительной информации о Mobly см. google/mobly .

файлы config.yml

В фреймворке Mobly вы можете настроить тестируемое устройство (DUT) и планшет для построения графиков в классе its_base_test . Для создания тестовой среды Mobly используется файл config.yml (YAML). В этом файле конфигурации можно настроить несколько тестовых сред, например, планшет и тестовую среду для объединения данных с датчиков. В разделе контроллера каждой тестовой среды можно указать device_ids для идентификации соответствующих устройств Android для запуска тестов. В дополнение к идентификаторам устройств в тестовый класс передаются другие параметры, такие как brightness планшета, chart_distance , debug_mode , camera_id и scene_id . Распространенные значения параметров теста:

brightness: 192  (all tablets except Pixel C)
chart_distance: 31.0  (rev1/rev1a box for FoV < 90° cameras)
chart_distance: 22.0 (rev2 test rig for FoV > 90° cameras)

Тестирование на планшете

Для тестирования на планшетах в имени тестовой среды должно присутствовать ключевое слово TABLET . Во время инициализации средство запуска тестов Mobly инициализирует TestParams и передает их отдельным тестам.

Ниже приведён пример файла config.yml для запуска на планшетах.

TestBeds:
  - Name: TEST_BED_TABLET_SCENES
    # Test configuration for scenes[0:4, 6, _change]
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut
          - serial: 5B16001229
            label: tablet

    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      chart_loc_arg: ""
      camera: 0
      scene: <scene-name>  # if <scene-name> runs all scenes

Тестовый стенд можно запустить с помощью tools/run_all_tests.py . Если значения в командной строке отсутствуют, тесты запускаются со значениями из файла config.yml . Кроме того, вы можете переопределить значения файлов конфигурации camera и scene в командной строке, используя команды, аналогичные тем, что использовались в Android 11 или более ранних версиях.

Например:

python tools/run_all_tests.py
python tools/run_all_tests.py camera=1
python tools/run_all_tests.py scenes=2,1,0
python tools/run_all_tests.py camera=1 scenes=2,1,0

Тестирование объединения данных с датчиков

Для тестирования слияния данных с датчиков имя тестовой платформы должно содержать ключевое слово SENSOR_FUSION . Правильная тестовая платформа определяется тестируемыми сценами. Android 12 поддерживает контроллеры Arduino и Canakit для слияния данных с датчиков .

Ниже приведён пример файла config.yml для запуска процесса объединения данных с датчиков.

Testbeds
  - Name: TEST_BED_SENSOR_FUSION
    # Test configuration for sensor_fusion/test_sensor_fusion.py
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      fps: 30
      img_size: 640,480
      test_length: 7
      debug_mode: "False"
      chart_distance: 25
      rotator_cntl: arduino         # cntl can be arduino or canakit
      rotator_ch: 1
      camera: 0

Для запуска тестов объединения данных с датчиков с помощью тестового стенда для объединения данных с датчиков используйте:

python tools/run_all_tests.py scenes=sensor_fusion
python tools/run_all_tests.py scenes=sensor_fusion camera=0

Несколько испытательных стендов

В конфигурационный файл можно включить несколько тестовых стендов. Наиболее распространенное сочетание — это наличие как тестового стенда для планшетов, так и тестового стенда для объединения данных с датчиков.

Ниже приведён пример файла config.yml с тестовыми стендами для планшета и системы объединения данных с датчиков.

Testbeds
  - Name: TEST_BED_TABLET_SCENES
    # Test configuration for scenes[0:4, 6, _change]
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut
          - serial: 5B16001229
            label: tablet

    TestParams:
      brightness: 192
      chart_distance: 22.0
      debug_mode: "False"
      chart_loc_arg: ""
      camera: 0
      scene: <scene-name>  # if <scene-name> runs all scenes

  - Name: TEST_BED_SENSOR_FUSION
    # Test configuration for sensor_fusion/test_sensor_fusion.py
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      fps: 30
      img_size: 640,480
      test_length: 7
      debug_mode: "False"
      chart_distance: 25
      rotator_cntl: arduino         # cntl can be arduino or canakit
      rotator_ch: 1
      camera: 0

Ручное тестирование

Ручное тестирование по-прежнему поддерживается в Android 12. Однако тестовая среда должна идентифицировать тестирование как таковое, используя ключевое слово MANUAL в своем названии. Кроме того, тестовая среда не может содержать идентификатор планшета.

Ниже приведён пример файла config.yml для ручного тестирования.

TestBeds:
  - Name: TEST_BED_MANUAL
    Controllers:
        AndroidDevice:
          - serial: 8A9X0NS5Z
            label: dut

    TestParams:
      debug_mode: "False"
      chart_distance: 31.0
      camera: 0
      scene: scene1

Тестовые сцены без планшетов

Тестирование для сцен 0 и 5 можно выполнить с помощью TEST_BED_TABLET_SCENES или TEST_BED_MANUAL . Однако, если тестирование выполняется с помощью TEST_BED_TABLET_SCENES , планшет должен быть подключен, а серийный идентификатор планшета должен быть действительным, даже если планшет не используется, поскольку настройка тестового класса присваивает планшету значение серийного идентификатора.

Проведите отдельные тесты

Отдельные тесты можно запускать только в целях отладки, поскольку их результаты не передаются в CTS Verifier . Поскольку файлы config.yml для camera и scene нельзя перезаписать из командной строки, эти параметры должны быть корректными в файле config.yml для соответствующего теста. Кроме того, если в файле конфигурации указано более одной тестовой среды, необходимо указать тестовую среду с помощью флага --test_bed . Например:

python tests/scene1_1/test_black_white.py --config config.yml --test_bed TEST_BED_TABLET_SCENES

Тестовые артефакты

В Android 12 тестовые артефакты для Camera ITS хранятся аналогично Android 11 и более ранним версиям, но со следующими изменениями:

• Для наглядности в каталог /tmp включающий тестовый артефакт, к 8-символьной случайной строке добавлен префикс CameraITS_ .
• Результаты тестирования и ошибки сохраняются в test_log.DEBUG для каждого теста вместо test_name_stdout.txt и test_name_stderr.txt .
• Логи каждого отдельного теста, полученные с тестируемого устройства и планшета, хранятся в каталоге /tmp/CameraITS_######## что упрощает отладку, поскольку вся информация, необходимая для устранения проблем 3A, регистрируется в логах.

Тестовые изменения

В Android 12 изображения для планшетов отображаются в формате PNG, а не PDF. Использование файлов PNG позволяет корректно отображать изображения на большем количестве моделей планшетов.

scene0/test_jitter.py

Тест test_jitter выполняется на физических скрытых камерах в Android 12.

scene1_1/test_black_white.py

В Android 12 test_black_white обладает функциональностью, аналогичной test_black_white и test_channel_saturation .

В следующей таблице описаны два отдельных теста в Android 11.

В следующей таблице описан объединённый тест scene1_1/test_black_white.py в Android 12.

scene1_1/test_burst_sameness_manual.py

Тест test_burst_sameness_manual выполняется на физических скрытых камерах в Android 12.

scene1_2/test_tonemap_sequence.py

Тест test_tonemap_sequence выполняется на камерах с ОГРАНИЧЕННЫМ набором функций в Android 12.

scene1_2/test_yuv_plus_raw.py

Тест test_yuv_plus_raw выполняется на физических скрытых камерах в Android 12.

scene2_a/test_format_combos.py

Тест test_format_combos выполняется на камерах с ОГРАНИЧЕННЫМ количеством функций в Android 12.

scene3/test_flip_mirror.py

Тест test_flip_mirror выполняется на камерах с ОГРАНИЧЕННЫМ набором функций в Android 12.

scene4/test_aspect_ratio_and_crop.py

В Android 12 была переработана функция поиска кругов в scene4/test_aspect_ratio_and_crop.py .

В более ранних версиях Android использовался метод, включающий поиск дочернего контура (круга) внутри родительского контура (квадрата) с фильтрами по размеру и цвету. В Android 12 используется метод, который включает поиск всех контуров, а затем фильтрацию по признаку наибольшей «круглости» . Для отсеивания ложных кругов на экране требуется минимальная площадь контура, и контур круга должен быть черным.

Контуры и критерии их выбора показаны на следующем изображении.

Рисунок 1. Концептуальное изображение контуров и критериев выбора.

Метод для Android 12 проще и помогает решить проблему с обрезкой ограничивающих рамок на некоторых планшетах. Все потенциальные кандидаты на роль круга регистрируются в целях отладки.

В Android 12 проверка обрезки выполняется для устройств FULL и LEVEL3 . В Android 11 и более ранних версиях проверка обрезки для устройств FULL защиты пропускается.

В следующей таблице перечислены утверждения для файла test_aspect_ratio_and_crop.py , соответствующие заданному уровню устройства и первому уровню API.

scene4/test_multi_camera_alignment.py

Метод undo_zoom() для YUV-снимков в scene4/test_multi_camera_alignment.py был переработан для более точного учета обрезки на сенсорах, которые не соответствуют соотношению сторон снимка.

Код на Python 2 для Android 11

zoom_ratio = min(1.0 * yuv_w / cr_w, 1.0 * yuv_h / cr_h)
circle[i]['x'] = cr['left'] + circle[i]['x'] / zoom_ratio
circle[i]['y'] = cr['top'] + circle[i]['y'] / zoom_ratio
circle[i]['r'] = circle[i]['r'] / zoom_ratio

Код на Python 3 для Android 12

yuv_aspect = yuv_w / yuv_h
relative_aspect = yuv_aspect / (cr_w/cr_h)
if relative_aspect > 1:
  zoom_ratio = yuv_w / cr_w
  yuv_x = 0
  yuv_y = (cr_h - cr_w / yuv_aspect) / 2
else:
  zoom_ratio = yuv_h / cr_h
  yuv_x = (cr_w - cr_h * yuv_aspect) / 2
  yuv_y = 0
circle['x'] = cr['left'] + yuv_x + circle['x'] / zoom_ratio
circle['y'] = cr['top'] + yuv_y + circle['y'] / zoom_ratio
circle['r'] = circle['r'] / zoom_ratio

sensor_fusion/test_sensor_fusion.py

В Android 12 для теста объединения данных с датчиков добавлен метод обнаружения признаков на изображениях.

В версиях Android ниже 12 для поиска 240 лучших признаков используется все изображение, которые затем маскируются до 20% центральной части, чтобы избежать эффекта «роллинг-шаттера», при этом минимальное требуемое количество признаков составляет 30.

Если обнаруженных этим методом характеристик недостаточно, Android 12 сначала ограничивает область обнаружения характеристик центральными 20%, а затем ограничивает максимальное количество характеристик до двукратного превышения минимально необходимых.

На следующем изображении показана разница между обнаружением функций в Android 11 и Android 12. Повышение минимального порогового значения требований к функциям приводит к обнаружению функций низкого качества и негативно влияет на результаты измерений.

Рисунок 2. Разница в обнаружении функций между Android 11 и Android 12.

Новые тесты

scene0/test_solid_color_test_pattern.py

В Android 12 включен новый тест, test_solid_color_test_pattern . Этот тест включен для всех камер и описан в следующей таблице.

Для поддержки режима конфиденциальности камеры необходимо включить тестовые шаблоны сплошного цвета. Тест test_solid_color_test_pattern подтверждает вывод изображения в формате YUV сплошного цвета с цветом, определенным выбранным шаблоном, и изменение цвета изображения в соответствии со спецификацией.

Параметры

• cameraPrivacyModeSupport : Определяет, поддерживает ли камера режим конфиденциальности.
• android.sensor.testPatternMode : Устанавливает режим тестового шаблона. В этом тесте используется SOLID_COLOR .
• android.sensor.testPatternData : Задает значения тестового шаблона R, Gr, Gb, G для режима тестового шаблона.

Описание тестового шаблона сплошного цвета см. в разделе SENSOR_TEST_PATTERN_MODE_SOLID_COLOR .

Метод

Для заданных параметров захватываются YUV-кадры, и содержимое изображения проверяется. Тестовый шаблон выводится непосредственно с датчика изображения, поэтому конкретная сцена не требуется. Если поддерживается параметр PER_FRAME_CONTROL , для каждой проверяемой настройки захватывается один YUV-кадр. Если PER_FRAME_CONTROL не поддерживается, захватываются четыре кадра, при этом анализируется только последний кадр, чтобы максимизировать охват тестирования в камерах LIMITED .

Для захвата YUV-изображений используются полностью насыщенные тестовые шаблоны BLACK , WHITE , RED , GREEN и BLUE . Поскольку определение тестового шаблона соответствует шаблону Байера сенсора, цветовые каналы для каждого цвета должны быть заданы, как показано в следующей таблице.

Таблица утверждений

В таблице ниже описаны утверждения для теста test_solid_color_test_pattern.py .

тесты класса производительности

scene2_c/test_camera_launch_perf_class.py

Проверяет, что время запуска камеры составляет менее 500 мс для обеих основных камер (фронтальной и тыловой) при использовании сцены лица scene2_c.

scene2_c/test_jpeg_capture_perf_class.py

Проверяет, что задержка захвата JPEG-изображений в разрешении 1080p составляет менее 1 секунды для обеих основных камер (фронтальной и тыловой) при использовании сцены scene2_c face.