Caméra ITS prête à l'emploi

La suite de tests d'images de caméras Android (ITS) fait partie de l'outil CTS Verifier (Android Compatibility Test Suite) et inclut des tests qui vérifient le contenu des images. CTS Verifier est compatible avec l'automatisation des tests ITS avec Camera ITS-in-a-box. La compatibilité avec les tests manuels couvre tous les facteurs de forme des appareils Android.

ITS-in-a-box offre les avantages suivants :

• Automatisation Aucune intervention humaine n'est nécessaire pendant le test.
• Dépannage facile : La cohérence de l'environnement de test permet de réduire le nombre d'erreurs de configuration et d'améliorer la reproductibilité.
• Efficience La possibilité de réessayer pour une caméra/scène individuelle améliore l'efficacité de l'exécution des tests.

Sélection du rig

ITS-in-a-box se compose d'un boîtier en plastique découpé au laser à partir de dessins de conception assistée par ordinateur (CAO), d'une tablette graphique et d'un appareil testé (DUT). Le tableau suivant décrit les caractéristiques et les spécifications des différents rigs ITS-in-a-box disponibles. Pour sélectionner le support approprié, tenez compte du champ de vision spécifique et de la distance de mise au point minimale du DUT. Pour les systèmes de caméras avec un champ de vision de 60 à 110 degrés et une distance de mise au point minimale de 22 à 31 cm, nous recommandons un support modulaire pour son adaptabilité. Si le système de caméras comprend un téléobjectif avec une distance de mise au point minimale comprise entre 31 cm et 110 cm, nous vous recommandons d'utiliser un support modulaire avec une extension de téléobjectif dont la distance de mise au point correspond à celle de l'objectif. Les extensions télescopiques sont disponibles dans des longueurs allant de 50 cm à 90 cm.

Rig	Distance du graphique	Plage de champ de vision de la caméra DUT (environ)	Fonctionnalités
Plate-forme de base modulaire	22 cm	60° - 120°	Encombrement réduit Grande ouverture à l'avant permettant de tester le système multicaméra sans que l'ouverture ne bloque les caméras secondaires Le support peut pivoter à 90°.
Plate-forme de base modulaire et plate-forme de télé-extension	22 cm à 110 cm*	10° à 120°	Grande ouverture à l'avant Permet de tester les caméras dont la distance de mise au point minimale est plus longue (la plupart des téléobjectifs) La longueur du bras de l'extension peut être ajustée pour différentes distances de lecture.
WFoV ITS-in-a-box	22 cm	60° - 120°	Grande empreinte permettant de nombreuses positions de montage du DUT Prise en charge des grands DUT tels que les tablettes
RFoV ITS-in-a-box	31 cm	60° - 90°	Tablette graphique Système d'éclairage intérieur
Gen2 ITS-in-a-box	31 cm	60° - 90°	Graphique sur papier Système d'éclairage intérieur

Distance du graphique	Pourcentage de mise à l'échelle de la scène	Image
31 cm	33 %
50 cm	50 %
80 cm	100 %

Pour commencer à utiliser la caméra ITS-in-a-box :

1. Achetez ou créez un ITS-in-a-box modulaire, WFoV ou RFoV et sensor Fusion.
2. Configurez une tablette avec le logiciel Camera ITS.
3. Exécutez des tests.
4. Obtenez les résultats du DUT.

Configurer la tablette

Cette section fournit des instructions détaillées pour configurer une tablette à utiliser avec les tests ITS de l'appareil photo situés dans le répertoire CameraITS. Ces instructions utilisent une Pixel C comme exemple de tablette. Pour en savoir plus sur les exigences et les recommandations concernant les tablettes, consultez Exigences concernant les tablettes.

Remarque : Les scripts Python de Camera ITS définissent automatiquement les options suivantes sur la tablette :
Paramètres > Affichage > Mise en veille > Après 30 minutes d'inactivité
Luminosité adaptative > DÉSACTIVÉ

1. Rechargez la tablette et allumez-la. Si vous êtes invité à configurer un compte, ignorez cette étape (Camera ITS ne nécessite aucun compte associé à la tablette).
2. Mettez à jour la tablette vers Android 7.0 ou version ultérieure. Les versions d'Android 6.x et antérieures ne sont pas compatibles avec Camera ITS.
3. Activez le mode développeur.
4. Revenez à Paramètres, puis sélectionnez Options pour les développeurs.

   Activer les options	Activé Laisser activé Débogage USB (permet à l'hôte d'exécuter la tablette en mode débogage). Lorsque vous connectez la tablette à l'hôte pour la première fois, le message Autoriser le débogage USB ? s'affiche. Si l'invite de débogage ne s'affiche pas sur la tablette, déconnectez-la, puis reconnectez-la.)
   Désactiver les options	Mises à jour automatiques du système Vérifier les applis via USB

5. Déterminez les ID du DUT et du graphique en exécutant $ adb devices pour lister les appareils disponibles. Pour déterminer device_id et chart_id, branchez et débranchez les appareils, puis observez ceux qui se connectent et se déconnectent.
6. Effectuez trois tests pour supprimer les conseils et les invites utilisateur qui peuvent masquer les graphiques sur l'écran de la tablette.
   1. Placez la tablette à l'endroit sur une table (ne la fixez pas au panneau arrière de la boîte).
   2. Exécutez la commande suivante :

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Les scènes 2 et 3 nécessitent que la tablette affiche une image. La tablette affiche donc la requête Autoriser Drive à accéder aux photos, contenus multimédias et fichiers sur votre appareil ?. Pour supprimer cette invite (et éviter d'en recevoir d'autres), appuyez sur Autoriser.
   3. Exécutez de nouveau la commande ci-dessous. La tablette affiche le message Conserver une copie de ce fichier ? et suggère Google Drive. Pour fermer cette invite (et éviter qu'elle ne s'affiche à l'avenir), appuyez sur l'icône Drive, puis sur Annuler pour l'importation dans Drive.
   4. Enfin, exécutez tools/run_all_tests.py et vérifiez que les scènes changent automatiquement à mesure que le script passe d'une scène à l'autre. Bien que la plupart des tests échouent (car la caméra n'est pas pointée sur le graphique), vous pouvez vérifier que la tablette parcourt correctement les scènes sans afficher d'invites ni d'autres pop-ups à l'écran.

Exécuter des tests

Avant d'exécuter ITS-in-a-box, assurez-vous que votre configuration de test inclut le matériel et les logiciels suivants :

• Un (1) ITS-in-a-box
• Une (1) tablette haute résolution de 10 pouces pour afficher les scènes, numéro de série : 5811000011
• Un (1) DUT sur lequel l'application CTS Verifier 7.0_8+ est installée. Exemple de DUT :
  • Un (1) Pixel NOF26W pour le test de la caméra arrière(0), numéro de série : FA6BM0305016. Pour installer l'application CTS Verifier, décompressez android-cts-verifier.zip, puis exécutez

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Exécuter des scènes basées sur une tablette

Pour exécuter les scènes 0 à 4, 6 et scene_change sur la caméra arrière :

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Exemple :

Réessayer les scènes

Vous pouvez réessayer les scènes pour une seule caméra :

• Pour réessayer les scènes sur une seule caméra :

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Exécuter la scène 5

La scène 5 nécessite une configuration spéciale avec un éclairage spécifique (pour en savoir plus, consultez CameraITS.pdf dans CTS Verifier, que vous pouvez télécharger sur la page Téléchargements de la suite de tests de compatibilité). Vous devez exécuter la scène 5 séparément (en dehors de la boîte) et avec le banc d'essai TEST_BED_MANUAL.

Pour exécuter la scène 5 pour les caméras avant et arrière sur un seul appareil :

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Obtenir des résultats

Vous pouvez afficher les résultats pendant les tests et enregistrer les résultats obtenus sous forme de rapport.

• Affichez les résultats. Pour enregistrer les résultats de Camera ITS sous forme de rapport :
  1. Appuyez sur Passer et enregistrez le rapport.
     
     Figure 3 : Rapport Camera ITS
  2. Récupérez les rapports de l'appareil :

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Décompressez le fichier du rapport et affichez test_result.xml.
     
     Figure 4. Rapports ITS de la caméra
     

Exigences concernant les tablettes

Pour Android 15 et versions ultérieures, les tablettes utilisées comme écran pour le tableau ITS doivent figurer sur la liste blanche des tablettes suivante. Pour obtenir la liste des tablettes compatibles avec les tests de scènes en basse luminosité, consultez Tablettes compatibles avec les scènes en basse luminosité. Pour Android 14 ou version antérieure, consultez Configuration requise pour les tablettes sous Android 14 ou version antérieure.

Les tablettes figurant sur la liste d'autorisation sont choisies en fonction des critères suivants :

• Écran d'environ 10 pouces avec une résolution supérieure à 1 920 x 1 200 pixels.
• L'écran ne doit pas présenter de scintillement mesurable causé par la modulation de largeur d'impulsion (PWM) pour la diminution de la luminosité.
• Capable d'exécuter les commandes adb envoyées par les tests ITS et d'afficher des images de graphiques avec la luminosité de l'écran indiquée.

La valeur brightness doit être définie dans config.yml en fonction du modèle de tablette. Pour déterminer si le modèle de votre tablette correspond à un nom d'appareil sur la liste d'autorisation, imprimez la valeur ro.product.device en exécutant la commande adb adb shell getprop | grep 'ro.product.device'.

Tablettes compatibles avec les scènes à faible luminosité

Exigences concernant les tablettes pour Android 14 et versions antérieures

Les tablettes doivent avoir une taille d'écran d'environ 10 pouces et une résolution supérieure à 1 920 x 1 200 pixels. La tablette ne doit pas utiliser la modulation de largeur d'impulsion (PWM) pour définir le niveau de luminosité. La valeur brightness doit être définie dans config.yml en fonction du modèle de tablette. Le tableau ci-dessous liste les tablettes recommandées pour les tests ITS, ainsi que les versions d'Android pour le DUT avec lequel les tablettes fonctionnent.

Questions fréquentes

Q1 : Comment déterminer les bancs d'essai dont j'ai besoin pour mon appareil ?

Les tests RFoV ITS-in-a-box révision 1 testent les caméras RFoV pour les tests de scènes de tablettes dans le répertoire CameraITS/tests. Le champ de vision (FoV) est défini comme suit : 60° < FoV < 90°. Pour les caméras avec un champ de vision plus large, les lumières peuvent apparaître sur les images ou les graphiques peuvent couvrir une zone trop petite dans le champ de vision, ce qui affecte les résultats des tests.

La révision 2 de l'ITS-in-a-box à FoV large teste les caméras à FoV large pour les tests de scènes de tablettes dans le répertoire CameraITS/tests. Le champ de vision grand-angle est défini comme suit : FoV >= 90°. Le banc d'essai de révision 2 est fonctionnellement identique à celui de révision 1, mais plus grand. Le banc de test de révision 2 peut tester les caméras à champ de vision restreint et à champ de vision large sous Android 9 et versions ultérieures. Compte tenu de son encombrement plus important, la révision 2 est idéale si le DUT est une tablette.

Le rig de base modulaire teste les caméras WFoV pour les tests de scènes de tablettes dans le répertoire CameraITS/tests. Le champ de vision large est défini comme suit : FoV >= 90°. Le banc de test modulaire peut tester les caméras à champ de vision réduit et large pour les appareils exécutant Android 9 ou version ultérieure. Il prend également en charge le support de téléobjectif qui peut être fixé pour tester les caméras avec une distance de mise au point minimale plus longue. La plate-forme de base modulaire est fonctionnellement identique à la solution ITS-in-a-box WFoV, mais plus petite.

La boîte de fusion des capteurs teste le décalage de synchronisation de l'appareil photo/du gyroscope et la synchronisation des images des systèmes multicaméras avec les tests dans scenes=sensor_fusion. Un décalage temporel entre la caméra et le gyroscope inférieur à 1 ms est requis pour l'indicateur de fonctionnalité REALTIME.

Les appareils multicaméras peuvent être testés avec un seul banc de test pour les tests ITS statiques et un banc de test de fusion de capteurs si la caméra dispose du flag de fonctionnalité REALTIME.

Un ensemble d'exemples de configurations est fourni dans le tableau ci-dessous.

Q2 : Comment indiquer le banc d'essai utilisé ?

Pour désigner le bon banc d'essai, assurez-vous que le paramètre de distance du graphique est correct. Le banc de test rev1 (RFoV) a une distance de graphique de 31 cm, et le banc rev2 (WFoV) a une distance de graphique de 22 cm. Par défaut, la distance du tableau est définie sur 31 cm.

Android 10 vers Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 ou version ultérieure

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

Q3 : Comment contrôler la luminosité de la tablette ?

Par défaut, la luminosité de la tablette est définie sur 96.

Pour modifier la luminosité sur les tablettes équipées d'Android 7.0 à 9, exécutez la commande suivante :

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Pour modifier la luminosité sur les tablettes équipées d'Android 10 ou 11, vous pouvez modifier la valeur sur la ligne de commande en ajoutant l'indicateur brightness :

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Pour modifier la luminosité sur les tablettes équipées d'Android 12 ou version ultérieure, exécutez la commande suivante :

edit config.yml
brightness: 96 → brightness: 192

Q4 : Comment déboguer un seul test ?

Les tests peuvent être exécutés individuellement à des fins de débogage, mais les résultats ne sont pas signalés à CtsVerifier.apk, sauf si l'ensemble de la scène est exécuté.

Pour exécuter une scène individuelle sous Android 11 ou version antérieure :

1. Chargez une scène en ajoutant l'indicateur scenes dans tools/run_all_tests.py :

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Appuyez sur Ctrl+C pour arrêter les tests une fois la scène enregistrée comme chargée sur stdout.

   Si la bonne scène est déjà affichée à l'écran, réactivez-le :

   python tools/wake_up_screen.py screen=#
   

3. Exécutez un test individuel.

   python tests/scene#/test_*.py device=# camera=#

   Les graphiques sont ensuite générés dans le répertoire local, et stdout et stderr sont affichés à l'écran.

   Pour obtenir plus d'informations de débogage, ajoutez des instructions print au script. Pour augmenter le résultat du test à des fins de débogage, ajoutez l'indicateur debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

Les résultats sont affichés sur l'écran local et les images sont enregistrées dans le répertoire local au lieu du répertoire /tmp/tmp### généré lors de l'exécution de tools/run_all_tests.py.

Pour exécuter une scène individuelle sous Android 12 ou version ultérieure :

1. Modifiez le fichier config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Exécutez le test individuel.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

Les résultats sont imprimés dans le répertoire /tmp/logs/mobly/TEST_BED_TABLET_SCENES/, triés par durée d'exécution.

Q5 : Pourquoi dois-je exécuter les tests en échec en tant que scène entière au lieu de les réexécuter individuellement ?

Les tests peuvent être exécutés individuellement à des fins de débogage, mais les résultats ne sont pas signalés à CtsVerifier.apk, sauf si la scène entière est exécutée.

Camera ITS garantit que les applications tierces disposent d'une interface de caméra compatible. Comme pour un test unitaire, chaque test met l'accent sur une seule spécification de la caméra. Pour détecter les comportements non fiables, ces tests doivent être réussis en tant que groupe pour une scène entière. Par exemple, même si un seul test non fiable peut réussir une réexécution d'une scène entière, il est difficile pour plusieurs tests non fiables de réussir.

Prenons l'exemple extrême d'une scène comportant 10 tests, chacun ayant une probabilité de 50 % de renvoyer PASS. En exécutant chaque test individuellement, il y a de fortes chances qu'un opérateur puisse faire passer la caméra ITS. Toutefois, si les tests sont exécutés de manière agrégée en tant que scène, la probabilité de réussite de la scène n'est que de 0,1 %.

Q6 : Comment exécuter une seule scène ou réorganiser les scènes d'exécution ?

Par défaut, le script tools/run_all_tests.py exécute toutes les scènes dans l'ordre. Toutefois, les scènes peuvent être exécutées individuellement ou dans un ordre spécifique, et être signalées à CtsVerifier.apk.

Pour exécuter une scène individuelle (par exemple, la scène 2) ou plusieurs scènes dans un ordre spécifique sous Android 11 ou version antérieure :

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Pour exécuter une scène individuelle ou plusieurs scènes dans un ordre spécifique sous Android 12 ou version ultérieure :

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

Les paramètres supplémentaires sont définis dans le fichier config.yml.

Q7 : Un certain nombre de tests de la scène 1 échouent avec la configuration de la tablette, mais réussissent avec un tableau papier. Pourquoi ?

Assurez-vous que la tablette et l'environnement de test répondent aux spécifications suivantes.

Caractéristiques de la tablette

Assurez-vous que la tablette répond aux spécifications suivantes :

• Taille de l'écran (pouces) : 10 pouces
• Taille de l'écran (en pixels) : supérieure à 1 920 x 1 200 pixels

Pour en savoir plus, consultez les exigences concernant les tablettes.

Luminosité de la tablette

Il est possible que les tests n'obtiennent pas les résultats corrects si la luminosité de l'écran de la tablette est trop faible.

Pour en savoir plus, consultez Comment contrôler la luminosité de la tablette ?

Niveau d'éclairage de la boîte (nécessite un luxmètre)

Assurez-vous que la valeur de lux cible à l'ouverture de la tablette est comprise entre 100 et 300.

Si le niveau de lux est trop élevé, scene1/test_param_flash_mode.py renvoie FAIL. Si le niveau de luminosité est trop faible, plusieurs tests échouent.

Q8 : Comment déboguer les tests de fusion de capteurs ?

1. Assurez-vous d'appartenir à un groupe dialout.

   groups | egrep ‘dialout'

2. Assurez-vous que le contrôleur de fusion de capteurs est connecté en vérifiant si Microchip Technology est connecté au port USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Exécutez le test plusieurs fois pour obtenir une distribution des tentatives de test à l'aide des commandes suivantes.

   Sur Android 11 ou version antérieure :

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   Dans Android 12 et versions ultérieures :

   python tools/run_sensor_fusion_box.py num_runs=10
   

   Les paramètres supplémentaires sont définis dans le fichier config.yml.

   Les sorties d'exécution se trouvent dans le dossier /tmp/tmp### créé sous les dossiers sensor_fusion_#, où # correspond au numéro d'exécution. Voici quelques motifs d'échec courants :

   1. Le téléphone n'est pas correctement centré.
   2. L'image ne contient pas assez de caractéristiques (souvent un problème de champ de vision ou d'éclairage).
   3. Le FAIL renvoyé est valide et le décalage temporel entre la caméra et le gyroscope doit être corrigé.

Q9 : Quelles informations dois-je inclure lorsque je signale un bug de test ?

Lorsque vous signalez un bug de test, incluez les fichiers et images générés pour le test.

1. Si vous avez exécuté le test via tools/run_all_tests.py, joignez un répertoire /tmp/ compressé au bug.
2. Si vous avez exécuté le test seul, joignez toutes les sorties d'écran et les images générées au bug.

Incluez également un rapport de bug. Une fois le test en question échoué, utilisez la commande suivante pour générer un rapport de bug et joindre le fichier ZIP généré au bug.

adb -s device_id bugreport

Q10 : Comment exécuter une scène de test sensor_fusion avec une caméra dont la distance de mise au point minimale crée des images floues à une distance de 25 cm ?

Si votre caméra ne parvient pas à faire la mise au point à une distance de 25 cm, retirez le panneau de fixation du tableau de la boîte de fusion des capteurs. Placez le graphique à une distance à laquelle le DUT peut faire la mise au point et remplacez chart_distance dans config.yml par la distance mesurée entre le DUT et le graphique. La figure 5 montre comment mesurer la distance du graphique dans cette situation.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

Q11 : Comment exécuter des scènes de test sur une tablette pour une caméra dont la distance de mise au point minimale crée des images floues à une distance de 31 cm ?

Si votre caméra ne peut pas produire des images suffisamment nettes lors des tests à 31 cm (profondeur du banc de test RFoV), montez-la devant le banc de test à une distance permettant à la scène du graphique de remplir environ 60 % du champ de vision de la caméra avec des images plus nettes. Cette distance peut être inférieure à la distance de mise au point minimale de la caméra. Laissez le chart_distance dans config.yml à 31 cm. La mise à l'échelle du graphique sur la tablette est déterminée par le champ de vision de la caméra, comme indiqué dans le tableau suivant :

Q12 : Avec l'API multicaméra logique, quels tests sont exécutés sur quelles caméras ?

Si votre caméra utilise REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, tous les tests ITS compatibles sont exécutés sur la caméra logique de premier niveau. Un sous-ensemble des tests ITS est exécuté sur les sous-caméras physiques. Ces tests sont listés dans tools/run_all_tests.py sous la constante SUB_CAMERA_TESTS.