Un test peut échouer pour n'importe quelle raison, et il suffit parfois de le réexécuter pour qu'il réussisse à nouveau (en raison d'instabilité, par exemple en raison de problèmes dans l'infrastructure sous-jacente). Vous pouvez configurer Tradefed pour qu'il effectue la nouvelle tentative automatiquement.
L'objectif principal de la nouvelle tentative automatique est d'éviter de relancer tous les tests. Elle ne relance que les tests échoués, ce qui permet de gagner beaucoup de temps d'exécution.
Tradefed permet également d'exécuter des tests plusieurs fois afin de détecter les erreurs via la fonctionnalité itérations. Dans ce cas, tous les tests seront réexécutés, et le test échouera si l'une des itérations échoue.
Activer les nouvelles tentatives automatiques
La nouvelle tentative automatique est contrôlée via l'objet RetryDecision, qui propose deux options pour activer la fonctionnalité: max-testcase-run-count et retry-strategy.
max-testcase-run-count détermine le nombre de tentatives ou d'itérations à effectuer. Il définit une limite supérieure pour éviter les tentatives indéfinies.
retry-strategy détermine la manière de réessayer. Pour en savoir plus, consultez les sections suivantes.
Désactiver les nouvelles tentatives automatiques
Utilisez l'option suivante:
--retry-strategy NO_RETRY
Échecs de nouvelle tentative
Pour réessayer les échecs de test, utilisez les options suivantes:
--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X
Cette opération réessaie l'échec jusqu'à ce qu'il réussisse ou jusqu'à ce que le nombre maximal de nouvelles tentatives soit atteint, selon la première échéance atteinte.
Itérations
Pour réexécuter des tests un certain nombre de fois, vous pouvez utiliser les options suivantes:
--retry-strategy ITERATIONS --max-testcase-run-count X
À quoi ressemblent les résultats ?
Par défaut, les rapporteurs de résultats reçoivent les résultats cumulés de toutes les tentatives.
Par exemple, un Fail et un Pass pour RETRY_ANY_FAILURE génèrent un Pass agrégé, car la nouvelle tentative a réussi à effacer l'échec.
Les rapporteurs peuvent recevoir les résultats non agrégés. Pour ce faire, ils doivent étendre l'interface ISupportGranularResults qui déclare la prise en charge des résultats détaillés (non agrégés).
Détails de l'implémentation
Pour activer la réexécution automatique des échecs au niveau du cas de test, implémentez ITestFilterReceiver.
Si vous ne pouvez pas implémenter ITestFilterReceiver, vous pouvez implémenter IAutoRetriableTest pour contrôler manuellement le fonctionnement de la nouvelle exécution. InstalledInstrumentationsTest est un exemple d'implémentation de cette interface.