Existen dos opciones para ejecutar pruebas automatizadas del CTS:
Trade Federation es un framework de pruebas y apps que te permite ejecutar pruebas desde la línea de comandos. Básicamente, el framework te permite anotar pruebas con la anotación
@Test
, y la app encuentra y ejecuta esas pruebas.OmniLab Android Test Station es una app que te permite ejecutar pruebas en una GUI.
En esta página, se explica cómo ejecutar pruebas automatizadas con Trade Federation. Si quieres obtener instrucciones para ejecutar pruebas con OmniLab Android Test Harness, consulta OmniLab Android Test Station.
Cómo ejecutar todas las pruebas automatizadas del CTS
Trade Federation contiene la consola de CTS, una interfaz de línea de comandos para ejecutar pruebas. Para ejecutar todo el conjunto de pruebas automatizadas del CTS, haz lo siguiente:
- Asegúrate de haber seguido las instrucciones en Configura las pruebas automatizadas de CTS.
En tu estación de trabajo de prueba, ejecuta la consola de CTS con el script
cts-tradefed
desde la carpeta en la que se descomprimió el paquete de CTS:./android-cts/tools/cts-tradefed
La consola de CTS muestra un cursor para que escribas comandos de CTS (
cts-tradefed >
).El plan de pruebas
cts
contiene todas las pruebas de CTS automatizadas. Ejecuta el siguiente comando para ejecutar el plan de pruebas dects
:run cts
Se ejecutan las pruebas automatizadas del CTS. Ten en cuenta lo siguiente:
Android 13 y versiones posteriores admiten las pruebas en varios dispositivos. Estas pruebas se ejecutan automáticamente solo cuando se usa el sharding. Para obtener más información sobre la fragmentación, consulta Cómo mejorar el tiempo de ejecución de las pruebas. Si deseas ejecutar estas pruebas de forma manual, consulta Cómo ejecutar pruebas en varios dispositivos.
Cada vez que ejecutes el CTS, presiona Ctrl + C para detener la consola del CTS existente y, luego, vuelve a ejecutarla.
No puedes ejecutar varias versiones del CTS en un solo host porque cada una se abre con un servidor de código de ubicación abierto (OLC) existente.
Consulta los resultados de la prueba. Para obtener más información, consulta Cómo interpretar los resultados del CTS.
Si esta es la primera vez que ejecutas pruebas, es posible que algunas fallen debido a problemas que no puedes controlar. Por ejemplo, una conexión de red puede ser lenta o una señal de GPS puede ser débil. Vuelve a ejecutar (reintenta) las pruebas hasta que se completen todos los módulos de prueba y las cantidades de errores de prueba sean las mismas entre las dos últimas sesiones de reintento:
run retry --retry session_number`
Después de que las fallas en las pruebas sean coherentes en todos los reintentos, enfócate en depurar las pruebas restantes que fallaron. Para obtener información sobre cómo solucionar problemas relacionados con los resultados de las pruebas, consulta Cómo priorizar las fallas de las pruebas y Cómo solucionar problemas de las pruebas de CTS.
Ejecuta CTS en dispositivos de varias pantallas
Si tu dispositivo ejecuta Android 11 o 12, y tiene varias pantallas, debes ejecutar el plan de pruebas cts-foldable
por separado:
run cts-foldable
Los casos de prueba aprobados o rechazados para el modo de pantalla alternativo se agregan con el valor de display_mode
, por ejemplo, testcase1[display_mode=0]
.
Ejecuta pruebas en varios dispositivos (Android 15 o versiones anteriores)
Ejecuta el siguiente comando para ejecutar el plan de pruebas de cts-multidevice
:
run cts-multidevice
Ejecuta planes de pruebas individuales
En lugar de ejecutar todos los planes de prueba a la vez, puedes ejecutar planes de prueba individuales. Esta opción es útil para ahorrar tiempo y enfocarse en un conjunto específico de pruebas. Sigue estos pasos para ejecutar un plan de pruebas individual:
Para identificar el nombre del plan de pruebas que deseas ejecutar, ejecuta el comando
list modules
.Ejecuta el plan de pruebas:
run cts --plan test_module_or_plan_name
Mejora el tiempo de ejecución de las pruebas
Si deseas mejorar el tiempo de ejecución de las pruebas, puedes fragmentarlas en varios dispositivos. El sharding requiere que el host conecte al menos dos dispositivos, pero se recomiendan seis o más para mayor eficiencia.
Para fragmentar pruebas en Android 11 o versiones posteriores, ejecuta el siguiente comando:
run cts --shard-count number_of_shards
Además, antes de ejecutar las pruebas para la validación, puedes mejorar el tiempo de ejecución de las pruebas con el comando run cts-dev
del CTS. Este comando omite las condiciones previas, la recopilación de información del dispositivo y todos los verificadores de estado del sistema.
También ejecuta las pruebas en una sola ABI.