Um teste pode falhar por qualquer motivo e, às vezes, simplesmente executar novamente o teste é suficiente para fazê-lo passar novamente (devido a falhas, como problemas na infraestrutura subjacente). Você pode configurar o Tradefed para realizar a nova tentativa automaticamente.
O cerne da repetição automática é evitar a reexecução de todos os testes; ele executa novamente apenas os testes com falha, resultando em grande economia no tempo de execução.
O Tradefed também suporta a execução de testes várias vezes para detectar falhas por meio do recurso de iterações . Nesse caso, todos os testes serão executados novamente e o teste falhará se qualquer uma das iterações falhar.
Habilitando o recurso
A nova tentativa automática é controlada por meio do objeto RetryDecision que fornece duas opções para habilitar o recurso: max-testcase-run-count e retry-strategy .
max-testcase-run-count orienta o número de tentativas ou iterações que serão feitas. Ele define um limite superior para evitar novas tentativas para sempre. retry-strategy orienta a decisão de como tentar novamente; consulte as seções a seguir para obter mais detalhes.
Desativando
Use a seguinte opção:
--retry-strategy NO_RETRY
Repetindo falhas
Para repetir as falhas de teste, use as seguintes opções:
--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X
Isso repetirá a falha até que ela passe ou até que o número máximo de tentativas seja atingido, o que ocorrer primeiro.
Iterações
Para executar novamente os testes por um determinado período, as seguintes opções podem ser usadas:
--retry-strategy ITERATIONS --max-testcase-run-count X
Como são os resultados?
Os relatores de resultados por padrão receberão resultados agregados de todas as tentativas.
Por exemplo: uma Fail e uma RETRY_ANY_FAILURE Pass em uma aprovação agregada Pass pois a nova tentativa conseguiu limpar a falha.
É possível que os relatores recebam os resultados não agregados. Para fazer isso, eles precisam estender a interface ISupportGranularResults que declara suporte para os resultados granulares (não agregados).
Detalhes de implementação
Para habilitar a repetição automática para executar novamente as falhas no nível do caso de teste, implemente ITestFilterReceiver .
Se você não puder implementar ITestFilterReceiver, poderá implementar IAutoRetriableTest para controlar manualmente como a reexecução funciona. InstalledInstrumentationsTest é um exemplo de implementação dessa interface.