Os resultados do teste de CTS são colocados no arquivo:
CTS_ROOT/android-cts/results/start_time.zip
Se você criou o CTS por conta própria, o CTS_ROOT será semelhante a
out/host/linux-x86/cts, mas varia de acordo com a plataforma. Isso reflete o caminho em que
você descompactou o CTS oficial pré-criado
transferidos deste site.
Dentro do zip, o arquivo test_result.xml contém os resultados reais.
Mostrar resultados no Android 10 e versões mais recentes
Há um arquivo test_result.html no arquivo zip, e você pode abri-lo diretamente em qualquer navegador da Web compatível com HTML5
Mostrar resultados anteriores ao Android 10
Abra o arquivo test_result.xml em qualquer navegador da Web compatível com HTML5 para visualizar o teste resultados
Se esse arquivo exibir uma página em branco ao usar o navegador Chrome,
mudar a configuração do navegador
para ativar a flag de linha de comando --allow-file-access-from-files.
Leia os resultados do teste
Os detalhes dos resultados do teste dependem da versão do CTS que você está usando:
- CTS v1 para Android 6.0 e anteriores
- CTS v2 para Android 7.0 e posterior
Informações do dispositivo
No CTS v1 e anteriores, selecione "Informações do dispositivo" (link acima de "Resumo do teste") para ver detalhes sobre o dispositivo, firmware (marca, modelo, versão do firmware, plataforma), e o hardware do dispositivo (resolução da tela, teclado, tipo de tela). O CTS v2 não exibir as informações do dispositivo.
Resumo do teste
A seção Resumo do teste fornece detalhes do plano de teste executado, como o CTS nome do plano e horários de início e término da execução. Ele também apresenta um conjunto resumo do número de testes que foram aprovados, reprovados, expiraram ou não foram executada.
Resumo dos testes de amostra do Android 10 CTS
Figura 1:resumo dos testes de amostra do CTS do Android 10
Resumo do teste de amostra CTS v2
Figura 2: resumo do teste de amostra do CTS v2
Resumo do teste de amostra CTS v1
Figura 3: resumo do teste de amostra CTS v1
Relatório de teste
A próxima seção, o relatório de testes do CTS, apresenta um resumo dos testes aprovados .
Isso é seguido por detalhes dos testes reais que foram executados. O relatório lista o pacote de testes, o pacote de testes, o caso de teste e os testes executados; Mostra o resultado da execução do teste: aprovado, reprovado, expirado ou não executado. Na de uma falha no teste são fornecidos para ajudar a diagnosticar a causa.
Além disso, o rastreamento de pilha da falha está disponível no arquivo XML, mas não incluído no relatório para garantir concisão, visualizando o arquivo XML com um editor de texto Deve fornecer detalhes da falha no teste (pesquise a tag [Test]. correspondente ao teste com falha e procure a tag [StackTrace] dentro dele.
Mostrar exemplo de relatório de teste do CTS v2
Figura 4: relatório de teste de amostra do CTS v2
Mostrar exemplo de relatório de teste do CTS v1
Figura 5: relatório de teste de amostra do CTS v1
Revise test_result.xml para módulos de teste incompletos
Para determinar o número de módulos incompletos em uma determinada sessão de teste, execute comando "list results". O número de módulos concluídos e total de módulos é listados para cada sessão anterior. Determinar quais módulos estão completos e quais incompleto, abra o arquivo test_result.xml e leia o valor do resultado atributo para cada módulo no relatório de resultados. Módulos com valor concluído = "falso" não foram executados até a conclusão.
Falhas no teste de triagem
Use as sugestões a seguir para fazer a triagem das falhas no teste.
- Confirme seu Ambiente CTS está configurado corretamente se um teste falhar devido a condições prévias incorretas. Isso inclui o ambiente físico, a configuração da máquina desktop e Configuração do dispositivo Android.
- Verifique a estabilidade do dispositivo, a configuração de testes ou problemas no ambiente. se um teste for muito instável.
- Repita o teste em isolamento se o problema persistir.
- Verifique se há fatores externos que causam falhas no teste, como:
- Configuração do ambiente. Por exemplo, um computador desktop mal configurado pode ser a causa de falhas nos testes que ocorrem em todos os Teste (DUTs) (incluindo dispositivos de referência)
- Dependências externas. Por exemplo, se um teste falhar em todos os dispositivos vários sites começando em um ponto específico no tempo, um URL inválido pode o erro.
- Se o DUT não incluir o nome uma falha no teste de segurança é esperada.
- Valide e analise as diferenças entre dispositivos aprovados e reprovados.
- Analise a declaração, o registro, o relatório do bug e o Fonte do CTS. Para um HostTest, a declaração e o registro podem ser muito genéricos, por isso é útil também vai verificar e anexar o logcat do dispositivo.
- Envie um patch de melhoria de teste para ajudar a reduzir falhas.
Salvar resultados parciais
O Tradefed não salva resultados parciais do teste quando a invocação dele falha.
Quando a Tradefed não gera resultados de teste, fica implícito que há um problema grave ocorreram durante a execução do teste, tornando o resultado do teste não confiável. O resultado parcial é considerado irrelevante porque não agrega valor quando e investigar o problema do dispositivo.