Notas de la versión de Android 11 Camera Image Test Suite

Esta página resume los cambios en Camera Image Test Suite (ITS) en Android 11. Los cambios se dividen en las siguientes categorías:

• Cambios de hardware
• Primeras pruebas OBLIGATORIAS de nivel API
• Iluminación de prueba validada
• Cambios de nombre de escena
• Cambios y adiciones de prueba.
• Aumento de pruebas de cámara LIMITADAS

Cambios de hardware

Android 11 introduce varios cambios de hardware para reducir costos y aumentar la disponibilidad. Estos cambios se dividen en las siguientes categorías:

• Fabricante adicional
• Métodos de fabricación unificados.
• Mayores opciones de tableta
• Apertura reducida de la tableta
• Nuevo controlador de fusión de sensores

Fabricante adicional

Rahi Systems está calificado para producir gabinetes de prueba ITS además de nuestro proveedor actual, MYWAY design. La información de la empresa para proveedores calificados es la siguiente:

• Rahi Systems Inc.
  48303 Fremont Blvd, Fremont CA 94538, EE. UU.
  rahisystems.com/products/android-device-testing-equipment/
  androidpartner@rahisystems.com
  +1-510-319-3802

• Diseño MYWAY
  4F., No. 163, Fu-Ying Road, Distrito XinZhuang, Nueva Ciudad de Taipei, Taiwán
  twmyway.com
  ventas@myway.tw
  +886-2-29089060

Métodos de fabricación unificados.

El recinto de prueba ITS en caja de campo de visión regular (RFoV) rev1 está rediseñado para utilizar los métodos de fabricación utilizados por los recintos de prueba de caja de campo de visión amplio (WFoV) y caja de fusión de sensores . La funcionalidad es idéntica y, para simplificar, el diseño se denomina rev1a . El rediseño permite a los fabricantes almacenar un único tipo de plástico para fabricar todos los recintos de prueba. Además, el soporte para tableta y los soportes de luz se rediseñaron para soportar una mayor variación en tabletas y barras de luz LED.

Para descargar las descripciones y dibujos mecánicos más recientes, consulte la caja RFoV (rev1a) y la caja WFoV (rev2.9) .

Mayores opciones de tableta

Las tabletas que incluyen Samsung Galaxy Tab A 10.1 y Chuwi Hi9 Air 10.1 se agregan a la lista de tabletas recomendadas. Es importante que la tableta no tenga modulación de ancho de pulso (PWM) para ajustar el brillo de la pantalla y eliminar las bandas en las imágenes capturadas.

Para obtener la información más reciente sobre tabletas recomendadas, consulte Requisitos de la tableta .

Apertura reducida de la tableta

Para permitir el uso del Galaxy Tab A 10.1, la altura de la abertura de la tableta se reduce ligeramente para los gabinetes de prueba RFoV (rev1a) y WFoV (rev2). Las revisiones que reflejan estos cambios son rev1a.1 y rev2.9. Para ver estos dibujos, consulte el cuadro RFoV (rev1a) y el cuadro WFoV (rev2.9) .

Nuevo controlador de fusión de sensores

El hardware del controlador de fusión del sensor se rediseñó para mejorar la capacidad de fabricación. El nuevo controlador está basado en Arduino , con un escudo de placa de enrutamiento personalizado que se monta encima del Arduino. La figura 1 muestra el escudo y la figura 2 muestra el dibujo mecánico del gabinete. El nuevo controlador funciona con una única fuente de alimentación de 5 V que alimenta el motor directamente. La electrónica se controla completamente a través del conector USB. La fuente de alimentación separada permite un aislamiento completo entre la electrónica de control y el servomotor. Además, un único controlador puede controlar hasta seis servomotores.

Figura 1. Vista superior del escudo Arduino

Figura 2. Diseño del gabinete

Android 11 es compatible con versiones anteriores de los controladores existentes. Para invocar pruebas con el uso del controlador basado en Arduino:

python tools/run_all_tests.py device=# camera=# rot_rig=arduino:1 scenes=sensor_fusion

Primer nivel API

En Android 10, sus pruebas se designan como MANDATED y NOT_YET_MANDATED . Para iniciar como dispositivo Android 10, deben pasar todas las pruebas MANDATED . Las pruebas NOT_YET_MANDATED pueden fallar, pero se tabulan como PASS para los informes del verificador CTS. El requisito de pruebas MANDATED también se aplica a los dispositivos actualizados. Este requisito de que los dispositivos actualizados pasen todas las pruebas MANDATED provocó que las pruebas se retrasaran en convertirse en pruebas MANDATED porque los dispositivos más antiguos también deben pasar las pruebas.

En Android 11, las pruebas MANDATED están controladas por el primer indicador de nivel API de las propiedades del teléfono. Para los dispositivos que se actualizan a Android 11, las pruebas se ejecutan como pruebas NOT_YET_MANDATED , lo que significa que una prueba puede fallar pero tabularse como PASS en CtsVerifier.apk .

Por ejemplo:

• En Android 11, la prueba test_channel_saturation es MANDATED para dispositivos con un primer nivel de API superior a 29.
• En Android 10, la prueba test_channel_saturation es MANDATED para todos los dispositivos.

Validación de la iluminación de la escena

En Android 11, la iluminación de la escena se valida analizando el brillo en las esquinas de la escena. Todas las escenas manuales se validan para iluminación y las escenas basadas en tabletas se validan para cámaras RFoV en el banco de pruebas RFoV y cámaras WFoV en el banco de pruebas WFoV. Si los niveles de iluminación son inadecuados, se informa un error y la prueba falla.

Cambios de nombre de escena

En Android 10, la escena 1 representa la mayoría de las pruebas y un gran porcentaje del tiempo total de prueba. Si falla alguna prueba dentro de la escena 1, se debe volver a ejecutar toda la escena. Por diseño, volver a ejecutar toda la escena reduce la aprobación de pruebas marginales. En Android 11, los tiempos de repetición se reducen al dividir la escena 1 en dos escenas, escena1_1 y escena1_2.

La siguiente tabla muestra los tiempos de prueba tabulados para la cámara trasera del Pixel 4 para diferentes escenas. El número de pruebas se divide para igualar el tiempo de prueba, no para igualar el número de pruebas.

Además, hay una limpieza de nombres. La escena 2 está dividida con letras y la escena 1 está dividida con números. La nomenclatura para las diferentes extensiones es:

• Escenas con el mismo gráfico, pero diferentes pruebas: *_1,2,3
• Escenas con diferentes gráficos, pero mismas pruebas: *_a,b,c

Escena	Número de pruebas	Tiempo de ejecución del Pixel 4 (min:seg)
0	11	1:12
1_1	22	5:12
1_2	13	5:20
2_a	5	3:22
2_b	1	0:24
2_c	1	0:24
3	6	2:04
4	2	2:46

Cambios de prueba

Pruebas actualizadas para usar el primer nivel de API

En Android 11, las pruebas de la siguiente tabla se actualizan para utilizar el primer indicador de nivel de API. Todas estas pruebas utilizan un primer nivel de API de 29, excepto la prueba test_tonemap_curve , que utiliza un primer nivel de API de 30.

Escena	Nombre de la prueba	Primer nivel API	Descripción
0	test_tonemap_curve	30	Asegúrese de que la canalización tenga salidas de color adecuadas con un mapa de tonos lineal y una entrada de imagen ideal (se basa en test_test_patterns ).
1	test_ae_precapture_trigger	29	Pruebe la máquina de estado AE cuando utilice el disparador de precaptura. Asegúrese de que con AE desactivado el disparador de precaptura no tenga ningún efecto.
	test_channel_saturation	29	Asegúrese de que los canales RGB se saturen a valores similares para eliminar el tinte en las regiones saturadas.
2_a/b/c	test_num_faces	29	Aumentar la diversidad de edades en las escenas faciales.

Pruebas con cambios.

Las pruebas de la siguiente tabla se actualizan en Android 11. Los cambios se describen en la columna Descripción de cambios .

Escena	Nombre de la prueba	Primer nivel API	Descripción de los cambios
1	test_burst_sameness_manual	30	Reducir la tolerancia al 2%.
4	test_aspect_ratio_and_crop	30	Cambie para ejecutarse en dispositivos LIMITADOS.
	test_multi_camera_alignment	30	Pase por las cámaras individualmente si no se admite la captura multicámara. Modifique la lógica de selección de cámaras para tener en cuenta sistemas de tres y cuatro cámaras, y omita cámaras monocromáticas, de solo profundidad e IR.

Nuevas pruebas

Las pruebas de la siguiente tabla están habilitadas en Android 11. Las pruebas se resumen en la tabla y se proporcionan descripciones detalladas en las siguientes secciones.

Escena	Nombre de la prueba	Primer nivel API	Descripción
0	test_vibration_restrictions	30	Asegúrese de que las alertas y vibraciones no se activen durante las capturas de imágenes.
2_a	test_jpeg_quality	30	Pruebe que las tablas de cuantificación reduzcan la compresión para aumentar la calidad JPEG.
2_d/2_e	test_num_faces	30	Incrementar la diversidad de edades del rostro.
2_e	test_continuous_picture	30	Asegúrese de que 3A se establezca en android.control.afAvailableModes = CONTINUOUS_PICTURE.
cambiar	test_scene_change	31	android.control.afSceneChange afirmó tras el cambio de escena.
6	test_zoom	30	Pruebe android.control.zoomRatioRange .

escena0/test_vibration_restriction

Esta prueba no requiere un escenario específico, pero el dispositivo bajo prueba (DUT) debe colocarse o montarse sobre una superficie dura. Esto incluye el montaje en los gabinetes de prueba ITS-in-a-box.

Afirma

• Sin vibraciones durante el uso de la cámara

escena2_a/test_jpeg_quality

Método

Las diferentes partes del archivo JPEG están definidas por marcadores de 2 bytes. Para obtener más información, consulte JPEG .

La prueba extrae las matrices de cuantificación de la captura JPEG. El marcador de las matrices de cuantificación en la captura JPEG es la secuencia, [255, 219]. Cuando se encuentra el marcador, los siguientes dos elementos de la lista son el tamaño. El marcador de tamaño JPEG DQT suele ser [0, 132] = 256*0+132 = 132, lo que representa el tamaño de los datos DQT en la captura JPEG. Los datos incrustados tienen la forma: [255, 219, 0, 132, 0 (marcador luma), matriz luma 8x8, 1 (marcador croma), matriz croma 8x8].

El 0 para el marcador de matriz luma y 1 para el marcador cromático parecen consistentes para varios dispositivos, incluidos teléfonos, que separan las dos matrices en secciones DQT separadas en el archivo JPEG. Las matrices de luma tienden a tener una mayor variedad de valores en comparación con las matrices de croma, ya que el ojo humano es más sensible a la luma que al croma y las imágenes JPEG tienen esto en cuenta.

A continuación se muestran muestras de matrices de luma y croma extraídas para factores de calidad de 85 y 25 para la cámara trasera del Pixel 4 que captura la escena 2_a con el equipo de prueba ITS. Los valores de la matriz aumentan (lo que indica una mayor compresión) sustancialmente para la configuración de calidad más baja. Estas matrices solo se imprimen con el script si se aplica el indicador debug=True . Tenga en cuenta la mayor variación en las entradas en las matrices de luma en comparación con las matrices de croma.

    luma matrix (quality = 85)    chroma matrix (quality = 85)

    [[ 5  3  4  4  4  3  5  4]    [[ 5  5  5  7  6  7 14  8]
     [ 4  4  5  5  5  6  7 12]     [ 8 14 30 20 17 20 30 30]
     [ 8  7  7  7  7 15 11 11]     [30 30 30 30 30 30 30 30]
     [ 9 12 17 15 18 18 17 15]     [30 30 30 30 30 30 30 30]
     [17 17 19 22 28 23 19 20]     [30 30 30 30 30 30 30 30]
     [26 21 17 17 24 33 24 26]     [30 30 30 30 30 30 30 30]
     [29 29 31 31 31 19 23 34]     [30 30 30 30 30 30 30 30]
     [36 34 30 36 28 30 31 30]]     [30 30 30 30 30 30 30 30]]

    luma matrix (quality = 25)            chroma matrix (quality = 25)

    [[ 32  22  24  28  24  20  32  28]    [[ 34  36  36  48  42  48  94  52]
     [ 26  28  36  34  32  38  48  80]     [ 52  94 198 132 112 132 198 198]
     [ 52  48  44  44  48  98  70  74]     [198 198 198 198 198 198 198 198]
     [ 58  80 116 102 122 120 114 102]     [198 198 198 198 198 198 198 198]
     [112 110 128 144 184 156 128 136]     [198 198 198 198 198 198 198 198]
     [174 138 110 112 160 218 162 174]     [198 198 198 198 198 198 198 198]
     [190 196 206 208 206 124 154 226]     [198 198 198 198 198 198 198 198]
     [242 224 200 240 184 202 206 198]]     [198 198 198 198 198 198 198 198]]

La Figura 3 muestra los valores de matriz promedio para la cámara trasera del Pixel 4 versus la calidad JPEG. A medida que aumenta la calidad JPEG, el nivel de compresión (promedio de matriz DQT luma/chroma) disminuye.

Figura 3. Promedios de la matriz DQT luma/croma de la cámara trasera del Pixel 4 frente a la calidad JPEG

Afirma

• Para [25, 45, 65, 86], +20 en calidad tiene promedios de matriz de cuantificación de reducción del 20%.
• Las cargas útiles de la matriz DQT son números cuadrados.

La Figura 4 muestra un ejemplo de un teléfono que no pasa la prueba. Tenga en cuenta que para imágenes de muy baja calidad ( jpeg.quality < 50 ), no hay ningún aumento en la compresión en la matriz de cuantificación.

Figura 4. Ejemplo de prueba fallida

escena2_d/e test_num_caras

Se agregan dos nuevas escenas de detección de rostros para aumentar la diversidad facial de las comprobaciones del algoritmo de detección de rostros. Con pruebas repetidas de varias cámaras, se espera que la cara más desafiante sea la cara más a la izquierda en scene2_d. En particular, el modelo tiene tanto un sombrero como una barba, algo nuevo en las escenas de rostro. Las nuevas escenas se muestran en las figuras 5 y 6.

Figura 5. escena2_d

Figura 6. escena2_e

Afirma

• num_faces == 3

escena2_e/prueba_imagen_continua

Método

La prueba test_continuous_picture utiliza scene2_e pero se puede habilitar con cualquiera de las escenas de caras. En esta prueba, se capturan 50 cuadros de resolución VGA con la solicitud de captura configurando primero android.control.afMode = 4 (CONTINUOUS_PICTURE) .

Se espera que el sistema 3A se haya asentado al final de una captura de 50 fotogramas.

Afirma

• 3A está en estado convergente al final de la captura.

cambio_escena/cambio_escena_prueba

Método

Se habilita una nueva prueba para comprobar si el indicador android.control.afSceneChange se afirma con un cambio de escena. El cambio de escena utiliza la tableta para mostrar una escena de rostro y luego encender y apagar la tableta para crear un cambio de escena. La escena reutiliza scene2_e pero está en una escena separada debido al control de tableta requerido.

Además, para las pruebas manuales, el cambio de escena se puede lograr moviendo la mano frente a la cámara.

La Figura 7 muestra un diagrama de tiempos de la prueba. El tiempo entre el apagado de la pantalla y la captura se ajusta según los resultados de eventos de capturas anteriores.

Figura 7. Diagrama de tiempos para test_scene_change

Condiciones de turno:

• Si hay un cambio de escena y afSceneChange == 1 , la prueba devuelve PASS .
• Si hay un cambio de escena y afSceneChange == 0 , el cambio de escena se desplaza 5 cuadros antes para darle más tiempo a afSceneChange para actuar.
• Si no hay ningún cambio de escena y afSceneChange == 1 , la prueba devuelve FAIL .
• Si no hay cambio de escena y afSceneChange == 0 , el cambio de escena se desplaza 30 fotogramas antes para obtener el cambio de escena en la captura.

Afirma

• La pantalla (escena) cambia.
• El indicador afSceneChange está en [0, 1].
• Si no hay cambios de escena, 3A converge (funcionalmente idéntico a test_continuous_picture ).
• Si afSceneChange == 1 , el brillo debe cambiar en la escena.
• PASS en seis intentos con el tiempo cambiado según resultados anteriores.

escena6/test_zoom

Método

Se requiere una nueva escena para probar android.control.zoomRatioRange ya que las escenas establecidas no tienen una característica lo suficientemente pequeña como para ser ampliada (escenas [1, 2, 4]) o la escena tiene muchos objetos que no se identifican fácilmente. , lo que complica la extracción de características (escena 3).

La Figura 8 muestra la nueva escena con una serie regular de círculos. La matriz de círculos afloja los requisitos sobre el centrado del DUT/gráfico y permite un círculo siempre cerca del centro de la imagen capturada. En esta escena, una serie de círculos de 9x5 con un borde negro cubre toda la tableta. Un círculo se reemplaza por un cuadrado en la esquina superior derecha para mostrar la orientación. Los tamaños de los círculos tienen una característica con un área de aproximadamente 7500 píxeles ( radius=50pixels ) para un sensor de 4000x3000 capturado con un campo de visión (FoV) de aproximadamente 80 grados.

Figura 8. escena test_zoom

Figura 9. Zoom de cámara de Pixel 4[0] = [1, 3,33, 5,67, 8] imágenes con círculo encontrado

La Figura 9 muestra imágenes capturadas por la cámara trasera de un Pixel 4 a medida que el zoom aumenta de 1 a 8x en cuatro pasos. Este conjunto de imágenes se captura sin ningún cuidado específico al centrarlo, excepto usar la apertura de prueba del teléfono con dos aberturas para permitir la prueba de las cámaras frontal y trasera. Se espera un desplazamiento del centro y se observa cuando la tableta gráfica está ligeramente a la izquierda del centro. Además, el gráfico parece suficiente para realizar pruebas con relaciones de zoom superiores a 8x.

Encontrar círculos

La prueba incluye un método find_circle() que utiliza findContours que encuentra todos los contornos y reduce la búsqueda de contornos a los círculos deseados probando lo siguiente:

• Los contornos deben tener un área mayor a 10 píxeles.
• Los contornos deben tener NUM_PTS >= 15 .
• Los contornos deben tener centros negros.
• Los contornos deben parecerse a un círculo, es decir, su área debe estar cerca del área pi*r2 del contorno.

rango de prueba

android.control.zoomRatioRange se divide en 10 pasos.

• [1, 7] pruebas [1, 1,67, 2,33, 3, 3,67, 4,33, 5, 5,67, 6,33, 7]

El zoom se detiene si el círculo encontrado toca los límites de la imagen. Hay una comprobación para garantizar que se alcanza un nivel de zoom suficiente en la prueba (10x).

Afirma

• Se encuentra al menos un círculo en cada configuración de zoom.
• Se prueba 10x o un máximo de android.control.zoomRatioRange .
• El radio del círculo se escala con zoom (RTOL 10% de lo esperado).
• Centro del círculo desplazado de las escalas centrales con zoom (RTOL 10% de lo esperado).
• Se alcanza un nivel de zoom suficiente (2x).

Aumento de pruebas de cámara LIMITADAS

En Android 11, las pruebas de la siguiente tabla prueban cámaras LIMITED . Además de las nuevas pruebas , la prueba scene4/test_aspect_ratio_and_crop se actualiza para permitir pruebas de dispositivos LIMITED con un primer nivel de API de 30 o superior.

Escena	Nombre de la prueba
0	test_vibration_restrictions
2_a	test_jpeg_quality
2_d/2_e	test_num_faces
4	test_aspect_ratio_and_crop
6	test_zoom

La Figura 10 muestra el anillo decodificador secreto ITS de Android 11. El anillo decodificador secreto muestra qué configuraciones de prueba controlan las pruebas individuales. La puerta está codificada por colores para facilitar la visualización. Los principales elementos de control son:

• MANUAL_SENSOR
• READ_3A *requiere MANUAL SENSOR
• COMPUTE_TARGET_EXPOSURES *requiere MANUAL SENSOR
• PER_FRAME_CONTROL
• RAW
• SENSORS * REALTIME
• MULTI_CAMERA

MANUAL SENSOR , READ_3A , COMPUTE_TARGET_EXPOSURES y PER_FRAME_CONTROL controlan la mayoría de las pruebas. Además, las pruebas habilitadas para dispositivos LIMITED están resaltadas en verde claro.

Figura 10. Anillo decodificador secreto de Android 11