Un test peut échouer pour quelque raison que ce soit, et il suffit parfois de le réexécuter pour la faire repasser (en raison, par exemple, de problèmes au niveau infrastructure sous-jacente). Vous pouvez configurer Tradefed pour qu'il effectue la nouvelle tentative automatiquement.
Le principe de la nouvelle tentative automatique consiste à éviter de réexécuter tous les tests. s'exécute de nouveau les tests ayant échoué, ce qui permet de réduire considérablement le temps d'exécution.
Tradefed permet aussi d'exécuter des tests plusieurs fois afin de détecter des failles via la fonctionnalité d'itérations. Dans ce cas, tous les tests seront et le test échouera si l'une des itérations échoue.
Activer la nouvelle tentative automatique
La nouvelle tentative automatique est contrôlée via l'objet RetryDecision, qui propose deux options pour activer la fonctionnalité : max-testcase-run-count et retry-strategy.
max-testcase-run-count génère le nombre de tentatives ou d'itérations
être tentée. Elle définit une limite supérieure pour éviter de réessayer indéfiniment.
retry-strategy détermine la méthode de nouvelle tentative. Pour en savoir plus, consultez les sections suivantes.
Désactiver les nouvelles tentatives automatiques
Utilisez l'option suivante:
--retry-strategy NO_RETRY
Nouvelles tentatives en cas d'échec
Pour relancer les tests, utilisez les options suivantes:
--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X
L'échec sera relancé jusqu'à ce qu'il soit terminé ou que le nombre maximal de tentatives soit atteint. est atteinte, selon la première échéance atteinte.
Itérations
Pour réexécuter des tests un certain nombre de fois, vous pouvez utiliser les options suivantes :
--retry-strategy ITERATIONS --max-testcase-run-count X
À quoi ressemblent les résultats ?
Par défaut, les rapporteurs de résultats reçoivent les résultats cumulés de toutes les tentatives.
Par exemple, Fail et Pass pour RETRY_ANY_FAILURE donneront un résultat
Pass agrégée, car la nouvelle tentative a permis d'effacer l'échec.
Les reporters peuvent recevoir des résultats non agrégés. Pour ce faire, ils doivent étendre l'interface ISupportGranularResults qui déclare la prise en charge des résultats détaillés (non agrégés).
Détails de l'implémentation
Pour activer la réexécution automatique des échecs au niveau du scénario de test, implémentez ITestFilterReceiver :
Si vous ne pouvez pas implémenter ITestFilterReceiver, vous pouvez implémenter IAutoRetriableTest pour contrôler manuellement le fonctionnement de la nouvelle exécution. InstalledInstrumentationsTest est un exemple d'implémentation de cette interface.