Тестирование изображений с камер с использованием автоматизации,Тестирование изображений с камер с использованием автоматизации

Android Camera Image Test Suite (ITS) является частью Android Compatibility Test Suite (CTS) Verifier и включает тесты, проверяющие содержимое изображений. CTS Verifier поддерживает автоматизацию тестирования ITS с помощью Camera ITS-in-a-box; поддержка ручного тестирования охватывает все форм-факторы устройств Android.

Комплексное решение ITS включает в себя следующие преимущества:

• Автоматизация. В процессе тестирования вмешательство человека не требуется.
• Упрощенное устранение неполадок. Стабильность тестовой среды приводит к меньшему количеству ошибок настройки и повышает воспроизводимость результатов.
• Эффективность. Возможность повторной попытки для каждой камеры/сцены повышает эффективность выполнения тестов.

Выбор буровой установки

Система ITS-in-a-box состоит из пластикового корпуса, вырезанного лазером по чертежам, полученным с помощью системы автоматизированного проектирования (САПР), планшета для диаграмм и тестируемого устройства (DUT). В следующей таблице описаны характеристики и спецификации различных доступных систем ITS-in-a-box. Для выбора подходящей системы учитывайте конкретное поле зрения и минимальное расстояние фокусировки тестируемого устройства. Для систем камер с полем зрения от 60 до 110 градусов и минимальным расстоянием фокусировки от 22 до 31 см мы рекомендуем модульную базовую систему из-за ее универсальности. Если система камер включает телеобъектив с минимальным расстоянием фокусировки от 31 до 110 см, мы рекомендуем модульную базовую систему с телеудлинителем, длина которого точно соответствует расстоянию фокусировки объектива. Телеудлинители доступны длиной от 50 до 90 см.

Буровая установка	Расстояние по диаграмме	Диапазон поля зрения камеры тестируемого устройства (приблизительно)	Функции
Модульная базовая установка	22 см	60° - 120°	Меньший размер занимаемой площади Большой вырез спереди позволяет проводить тестирование многокамерной системы без блокировки дополнительных камер. Конструкция может поворачиваться на 90°
Модульная базовая оснастка и телескопическая удлинительная оснастка.	22 см - 110 см*	10° - 120°	Большой вырез спереди Поддерживает тестирование камер с большей минимальной дистанцией фокусировки (большинство телекамер). Длина удлинительной оснастки может регулироваться в зависимости от расстояния до карты.
WFoV ITS-в-коробке	22 см	60° - 120°	Большая площадь основания позволяет устанавливать тестируемое устройство в различных положениях. Поддержка крупных тестируемых устройств, таких как планшеты.
RFoV ITS-в-коробке	31 см	60° - 90°	Диаграмма на планшете Внутренняя система освещения
Gen2 ITS-в-коробке	31 см	60° - 90°	Бумажная диаграмма Внутренняя система освещения

Расстояние по диаграмме	Процент масштабирования сцены	Изображение
31 см	33%
50 см	50%
80 см	100%

Чтобы начать работу с камерой ITS-in-a-box:

1. Приобретите или соберите модульную интеллектуальную транспортную систему (ИТС) с возможностью объединения данных с датчиков , охватывающую весь диапазн ( WFoV) или удаленный диапазн (RFoV) , в комплекте.
2. Настройте планшет с помощью программного обеспечения Camera ITS.
3. Запустите тесты .
4. Получите результаты от тестируемого устройства.

Настройте планшет

В этом разделе приведены пошаговые инструкции по настройке планшета для использования с тестами Camera ITS, расположенными в каталоге CameraITS . В качестве примера в этих инструкциях используется планшет Pixel C. Информацию о требованиях и рекомендациях к планшетам см. в разделе «Требования к планшетам» .

Примечание: Скрипты Camera ITS на Python автоматически устанавливают следующие параметры на планшете:
Настройки > Дисплей > Спящий режим > Через 30 минут бездействия
Адаптивная яркость > ВЫКЛ.

1. Зарядите планшет и включите его. Если появится запрос на создание учетной записи, пропустите этот шаг (Camera ITS не требует сопряжения учетной записи с планшетом).
2. Обновите планшет до Android 7.0 или выше. Android 6.x и более ранние версии не поддерживают Camera ITS.
3. Включите режим разработчика .
4. Вернитесь в «Настройки» и выберите «Параметры разработчика».

   Включить параметры	На Не засыпайте Отладка по USB (Это позволяет хосту запускать планшет в режиме отладки. При первом подключении планшета к хосту появится запрос «Разрешить отладку по USB?». Если запрос на отладку не отображается, отключите, а затем снова подключите планшет.)
   Отключить параметры	Автоматические обновления системы Проверка приложений через USB

5. Определите идентификаторы тестируемых устройств (DUT) и диаграмм, выполнив команду $ adb devices для вывода списка доступных устройств. Чтобы определить device_id и chart_id , подключайте и отключайте устройства и наблюдайте за тем, какие устройства подключаются и отключаются.
6. Проведите три тестовых запуска, чтобы отключить подсказки и запросы пользователя, которые могут заслонять графики на экране планшета.
   1. Положите планшет экраном вверх на стол (не прикрепляйте планшет к задней панели коробки).
   2. Выполните следующую команду:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Для выполнения заданий 2 и 3 на планшете необходимо отобразить изображение, поэтому планшет запрашивает разрешение на доступ к фотографиям, мультимедиа и файлам на вашем устройстве через Google Drive . Чтобы закрыть этот запрос (и предотвратить его появление в будущем), нажмите «Разрешить».
   3. Выполните команду еще раз. Планшет выдаст запрос «Сохранить копию этого файла?» и предложит использовать Google Drive. Чтобы закрыть этот запрос (и предотвратить его появление в будущем), нажмите значок Диска, а затем кнопку «Отмена» для загрузки на Диск.
   4. Наконец, запустите tools/run_all_tests.py и убедитесь, что сцены автоматически меняются по мере того, как скрипт переключается между ними. Хотя большинство тестов завершаются неудачей (поскольку камера не направлена ​​на диаграмму), вы можете проверить, что планшет корректно переключается между сценами без отображения каких-либо подсказок или других всплывающих окон на экране.

Запустите тесты

Перед запуском ITS-in-a-box убедитесь, что ваша тестовая установка включает следующее оборудование и программное обеспечение:

• Один (1) ITS-в-коробке
• Один (1) планшет с высоким разрешением 10 дюймов для отображения сцен, серийный номер: 5811000011
• Одно (1) тестируемое устройство (DUT) с установленным приложением CTS Verifier 7.0_8+. Пример тестируемого устройства:
  • Один (1) Pixel NOF26W для тестирования задней камеры (0), серийный номер: FA6BM0305016. Чтобы установить приложение CTS Verifier, распакуйте android-cts-verifier.zip , затем запустите

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Запуск сцен на планшетах

Для запуска сцен с 0 по 4, 6 и функции scene_change на задней камере:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Пример:

Повторить сцены

Вы можете повторно запустить сцены для одной и той же камеры:

• Чтобы повторить съемку сцен на одной камере:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Запуск сцены 5

Для сцены 5 требуется специальная настройка со специфическим освещением (подробности см. в файле CameraITS.pdf в CTS Verifier, который можно скачать в разделе «Загрузки пакета тестов совместимости »). Сцену 5 необходимо запустить отдельно (вне коробки) с использованием тестового стенда TEST_BED_MANUAL .

Чтобы запустить сцену 5 для передней и задней камер на одном устройстве:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Получите результаты

В процессе тестирования вы можете просматривать результаты и сохранять их в виде отчета.

• Просмотреть результаты. Чтобы сохранить результаты Camera ITS в виде отчета:
  1. Нажмите «Пройти» и сохраните отчет.
     
     Рисунок 3. Отчет ITS по камере.
  2. Получайте отчеты с устройства:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Распакуйте файл отчета и просмотрите test_result.xml .
     
     Рисунок 4. Отчеты ITS камеры.
     

Требования к планшету

Для Android 15 и выше планшеты, используемые в качестве дисплея ITS-диаграммы, должны соответствовать следующему списку разрешенных планшетов. Список планшетов, поддерживающих тестирование в условиях низкой освещенности, см. в разделе «Поддерживаемые планшеты для работы в условиях низкой освещенности» . Для Android 14 и ниже см. раздел «Требования к планшетам для Android 14 и ниже» .

Планшеты, включенные в разрешенный список, отбираются на основе следующих критериев:

• Размер дисплея около 10 дюймов, разрешение экрана более 1920 x 1200 пикселей.
• Не должно наблюдаться мерцания, вызванного затемнением экрана, управляемым широтно-импульсной модуляцией (ШИМ).
• Способен выполнять команды adb, отправляемые тестами ITS, и отображать изображения диаграмм с заданной яркостью экрана.

Значение brightness необходимо задать в config.yml в соответствии с моделью планшета. Чтобы определить, соответствует ли ваша модель планшета имени устройства в списке разрешенных устройств, выведите значение ro.product.device , выполнив команду adb shell getprop | grep 'ro.product.device' .

Поддерживаемые планшеты для работы в условиях низкой освещенности

Требования к планшету для Android 14 и ниже

Планшеты должны иметь диагональ экрана около 10 дюймов и разрешение более 1920 x 1200 пикселей. Планшет не должен использовать широтно-импульсную модуляцию (ШИМ) для регулировки уровня яркости. Значение brightness должно быть задано в config.yml в соответствии с моделью планшета. В таблице ниже перечислены рекомендуемые планшеты для тестирования ITS, а также версии Android для тестируемого устройства, с которыми они работают.

Часто задаваемые вопросы

В1: Как определить, какие испытательные стенды мне нужны для моего устройства?

Тест RFoV ITS-in-a-box версии 1 предназначен для проверки камер с широким углом обзора (RFoV) в условиях съемки на планшете и находится в каталоге CameraITS/tests . Угол обзора определяется как 60° < FoV < 90° . Для камер с большим углом обзора на изображениях могут появляться источники света, или тестовые таблицы могут занимать слишком малую область в поле зрения, что повлияет на результаты теста.

Тестовая установка WFoV ITS-in-a-box версии 2 предназначена для тестирования камер с широким углом обзора (WFoV) в сценах, моделируемых на планшетах, и находится в каталоге CameraITS/tests . Широкий угол обзора определяется как FoV >= 90° . Тестовая установка версии 2 функционально идентична версии 1, но имеет большие размеры. Она позволяет тестировать как камеры с широким, так и с широким углом обзора (RFoV) на Android 9 и выше. Учитывая большие габариты, версия 2 идеально подходит для тестирования планшетов.

Модульная базовая установка тестирует камеры с широким углом обзора (WFoV) для тестирования сцен на планшетах в каталоге CameraITS/tests . WFoV определяется как FoV >= 90° . Модульная базовая установка может тестировать как камеры с дальним, так и с широким углом обзора (RFoV) для устройств под управлением Android 9 и выше. Она также поддерживает телеудлинитель, который можно прикрепить для тестирования телекамер с большей минимальной дистанцией фокусировки. Модульная базовая установка функционально идентична WFoV ITS-in-a-box, но имеет меньшие размеры.

Блок объединения данных с датчиков проверяет смещение синхронизации камеры/гироскопа и синхронизацию кадров многокамерной системы с помощью тестов, заданных в scenes=sensor_fusion . Для включения флага функции REALTIME требуется смещение синхронизации камеры/гироскопа менее 1 мс.

Многокамерные устройства можно тестировать с помощью одного стенда для статических тестов ITS и стенда для объединения данных с датчиков, если камера имеет флаг функции REALTIME .

В таблице ниже представлен набор примеров конфигураций.

В2: Как указать, какой испытательный стенд используется?

Для выбора правильного испытательного стенда убедитесь, что параметр расстояния до диаграммы задан корректно. Для испытательного стенда версии 1 (RFoV) расстояние до диаграммы составляет 31 см, а для стенда версии 2 (WFoV) — 22 см. По умолчанию расстояние до диаграммы установлено на 31 см.

Android 10 — Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 и выше

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

В3: Как отрегулировать яркость планшета?

По умолчанию яркость планшета установлена ​​на 96.

Чтобы изменить яркость на планшетах под управлением Android 7.0–Android 9, выполните следующую команду:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Для изменения яркости на планшетах под управлением Android 10–11 значение можно изменить в командной строке, добавив флаг brightness :

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Чтобы изменить яркость на планшетах под управлением Android 12 и выше, выполните следующую команду:

edit config.yml
brightness: 96 → brightness: 192

В4: Как отладить отдельный тест?

Тесты можно запускать по отдельности в целях отладки, но результаты не передаются в CtsVerifier.apk если не запущена вся сцена целиком.

Для запуска отдельной сцены в Android 11 и более ранних версиях:

1. Для загрузки сцены добавьте флаг scenes в tools/run_all_tests.py :

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Нажмите Control+C , чтобы остановить тесты после того, как сцена будет зарегистрирована как загруженная в stdout .

   Если нужный кадр уже отображается на экране, включите экран:

   python tools/wake_up_screen.py screen=#
   

3. Проведите индивидуальный тест.

   python tests/scene#/test_*.py device=# camera=#

   Затем графики создаются в локальной директории, а stdout и stderr выводятся на экран.

   Для получения дополнительной информации для отладки добавьте в скрипт операторы print . Чтобы увеличить объем вывода тестов для отладки, добавьте флаг debug=True .

   python tests/scene#/test_*.py device=# camera=# debug=True

Результаты выводятся на локальный экран, а изображения сохраняются в локальном каталоге, а не в созданном каталоге /tmp/tmp### при запуске tools/run_all_tests.py .

Для запуска отдельной сцены в Android 12 и выше:

1. Отредактируйте файл config.yml .

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Проведите индивидуальный тест.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Результаты выводятся в каталог /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ в порядке времени выполнения.

В5: Почему мне нужно запускать неработающие тесты целиком, а не перезапускать тесты по отдельности?

Тесты можно запускать по отдельности в целях отладки, но результаты не передаются в CtsVerifier.apk если не запущена вся сцена целиком.

Camera ITS гарантирует совместимость интерфейса камеры с приложениями сторонних разработчиков. Подобно модульному тесту , каждый тест проверяет одну конкретную спецификацию камеры. Для выявления ненадежного поведения ожидается, что эти тесты пройдут успешно в группе для всей сцены. Например, хотя один ненадежный тест может пройти успешно при повторном запуске всей сцены, для нескольких ненадежных тестов пройти успешно будет сложно.

В качестве крайнего примера рассмотрим случай, когда в сцене есть 10 тестов, каждый из которых имеет 50% вероятность получить PASS ПРОЙДЕНО». Запуская каждый тест по отдельности, оператор с высокой вероятностью сможет добиться прохождения камерой проверки Camera ITS. Однако, если тесты запускаются в совокупности для всей сцены, вероятность успешного прохождения составляет всего 0,1%.

В6: Как запустить отдельную сцену или изменить порядок запускаемых сцен?

По умолчанию скрипт tools/run_all_tests.py запускает все сцены по порядку. Однако сцены можно запускать по отдельности или в указанном порядке, и результаты будут передаваться в CtsVerifier.apk .

Чтобы запустить отдельную сцену (например, сцену 2) или запустить несколько сцен в определенном порядке в Android 11 или более ранних версиях:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Чтобы запустить отдельную сцену или несколько сцен в определенном порядке в Android 12 и выше:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Дополнительные параметры задаются в файле config.yml .

В7: Ряд тестов в сцене 1 не проходят при использовании планшета, но проходят при использовании бумажной диаграммы. В чем проблема?

Убедитесь, что планшет и тестовая среда соответствуют следующим требованиям.

Технические характеристики планшета

Убедитесь, что планшет соответствует следующим техническим характеристикам:

• Размер дисплея (дюймы): 10 дюймов
• Размер экрана (в пикселях): более 1920 x 1200 пикселей

Для получения более подробной информации см. раздел «Требования к планшетам» .

Яркость планшета

Если яркость дисплея планшета слишком низкая, результаты тестов могут быть некорректными.

Для получения более подробной информации см. раздел «Как отрегулировать яркость планшета?».

Уровень освещенности в боксе (требуется люксметр)

Убедитесь, что целевое значение освещенности в люксах при открытии планшета находится в диапазоне от 100 до 300.

Если уровень освещенности слишком высок, scene1/test_param_flash_mode.py возвращает FAIL . Если уровень освещенности слишком низок, несколько тестов завершаются неудачей.

В8: Как отлаживать тесты объединения данных с датчиков?

1. Убедитесь, что вы находитесь в группе dialout .

   groups | egrep ‘dialout'

2. Убедитесь, что контроллер объединения данных с датчиков подключен, проверив, подключена ли компания Microchip Technology к USB-порту.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Для получения распределения попыток тестирования с помощью следующих команд выполните тест несколько раз.

   В Android 11 или более ранних версиях:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   В Android 12 и выше:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Дополнительные параметры задаются в файле config.yml .

   Результаты выполнения находятся в папке /tmp/tmp### созданной в папках sensor_fusion_# , где # — номер выполнения. Распространенные причины сбоев:

   1. Телефон неправильно отцентрирован.
   2. На изображении недостаточно деталей (часто это проблема поля зрения или освещения).
   3. Возвращенный FAIL является допустимым, и необходимо скорректировать смещение синхронизации между камерой и гироскопом.

В9: Какую информацию следует указывать при сообщении об ошибке в тестировании?

При сообщении об ошибке в тестировании приложите сгенерированные файлы и изображения для теста.

1. Если вы запускали тест через tools/run_all_tests.py , приложите к сообщению об ошибке заархивированный каталог /tmp/ .
2. Если вы запускали тест отдельно, приложите к сообщению об ошибке все результаты с экрана и сгенерированные изображения.

Также приложите отчет об ошибке. После того, как тест не пройден, используйте следующую команду для создания отчета об ошибке и прикрепите сгенерированный zip-файл к сообщению об ошибке.

adb -s device_id bugreport

В10: Как запустить тестовую сцену sensor_fusion с камерой, у которой минимальное расстояние фокусировки приводит к размытым изображениям на расстоянии 25 см от измерительного прибора?

Если ваша камера не может сфокусироваться на расстоянии 25 см, снимите панель крепления диаграммы с блока объединения данных датчика. Разместите диаграмму на таком расстоянии, чтобы тестируемое устройство могло сфокусироваться, и измените chart_distance в config.yml на измеренное расстояние между тестируемым устройством и диаграммой. На рисунке 5 показан пример измерения расстояния до диаграммы в этой ситуации.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

В11: Как запустить тестовые сцены на планшете для камеры с минимальным расстоянием фокусировки, которое приводит к размытым изображениям на расстоянии 31 см от тестовой таблицы?

Если ваша камера не может обеспечить достаточно резкое изображение при тестировании на расстоянии 31 см (глубина тестового стенда RFoV), установите камеру перед стендом на таком расстоянии, чтобы изображение на графике занимало примерно 60% поля зрения камеры. Это расстояние может быть меньше минимального расстояния фокусировки камеры. Оставьте chart_distance в config.yml равным 31 см. Масштабирование графика на планшете определяется полем зрения камеры, как показано в следующей таблице:

В12: Какие тесты выполняются на каких камерах при использовании логического API для нескольких камер?

Если ваша камера использует REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA , все поддерживаемые тесты ITS выполняются на логической камере верхнего уровня. Подмножество тестов ITS выполняется на физических субкамерах, и эти тесты перечислены в файле tools/run_all_tests.py в константе SUB_CAMERA_TESTS .