O Google tem o compromisso de promover a igualdade racial para as comunidades negras. Saiba como.

Interpretando resultados CTS

Os resultados do teste CTS são colocados no arquivo:

CTS_ROOT/android-cts/results/start_time.zip

Se você construiu o CTS-se, CTS_ROOT assemelha out/host/linux-x86/cts , mas difere por plataforma. Isso reflete o caminho onde você descompactou o pré-construídos CTS oficial descarregado a partir deste site.

Dentro do zip, o arquivo test_result.xml contém os resultados reais.

Exibindo resultados do Android 10 e posterior

Um arquivo test_result.html existe dentro do arquivo zip, você pode abri-lo diretamente em qualquer navegador compatível com HTML5

Exibindo resultados pré-Android 10

Abra o arquivo test_result.xml em qualquer navegador compatível com HTML5 para visualizar os resultados do teste

Se este arquivo apresenta uma página em branco quando usando o navegador Chrome, mudar a configuração do seu navegador para permitir a --allow-file-access-from-files comandar bandeira line.

Lendo os resultados do teste

Os detalhes dos resultados do teste dependem de qual versão do CTS você está usando:

  • CTS v1 para Android 6.0 e anterior
  • CTS v2 para Android 7.0 e posterior

Informação de dispositivo

No CTS v1 e anterior, selecione Informações do dispositivo (link acima do Resumo do teste) para visualizar detalhes sobre o dispositivo, firmware (marca, modelo, construção do firmware, plataforma) e hardware do dispositivo (resolução da tela, teclado, tipo de tela). CTS v2 não exibe informações do dispositivo.

Resumo do Teste

A seção Resumo do Teste fornece detalhes do plano de teste executados, tais como o nome do plano CTS e início de execução e término. Ele também apresenta um resumo agregado do número de testes que passaram, falharam, expiraram ou não puderam ser executados.

Resumo do teste de amostra do Android 10 CTS

Resumo do teste Android 10 CTS

Figura 1: Android 10 CTS Resumo do teste de amostra

Resumo do teste de amostra CTS v2

Resumo do teste CTS v2

Figura 2: Resumo do teste de amostra CTS v2

Resumo do teste de amostra CTS v1

Resumo do teste CTS v1

Figura 3: Resumo do teste de amostra CTS v1

Relatório de teste

A próxima seção, o relatório de teste CTS, fornece um resumo dos testes aprovados por pacote.

Isso é seguido por detalhes dos testes reais que foram executados. O relatório lista o pacote de teste, suíte de teste, caso de teste e os testes executados. Mostra o resultado da execução do teste - aprovado, reprovado, expirado ou não executado. No caso de uma falha de teste, são fornecidos detalhes para ajudar a diagnosticar a causa.

Além disso, o rastreamento de pilha da falha está disponível no arquivo XML, mas não está incluído no relatório para garantir-brevidade visualizar o arquivo XML com um editor de texto deve fornecer detalhes da falha de teste (procure a tag [Test] correspondente a o teste falhou e olhar dentro dele para a tag [StackTrace]).

Mostrar relatório de teste de amostra CTS v2

Relatório de teste CTS v2

Figura 4: Relatório de teste de amostra CTS v2

Mostrar relatório de teste de amostra CTS v1

Relatório de teste CTS v1

Figura 5: Relatório de teste de amostra CTS v1

Revisão de test_result.xml para módulos de teste incompletos

Para determinar o número de módulos incompletos em uma determinada sessão de teste, execute o comando 'list results'. A contagem de Módulos Concluídos e Total de Módulos são listados para cada sessão anterior. Para determinar quais módulos estão completos vs. incompletos, abra o arquivo test_result.xml e leia o valor do atributo "done" para cada módulo no relatório de resultados. Módulos com valor done = "false" não foram executados até a conclusão.

Falhas de teste de triagem

Use as sugestões a seguir para fazer a triagem de falhas de teste.

  • Verifique se o seu ambiente de CTS está configurado corretamente, se um teste está falhando devido a condições incorretas. Isso inclui o ambiente físico, a configuração da máquina desktop e a configuração do dispositivo Android.
  • Verifique a estabilidade do dispositivo, configuração de teste ou problemas ambientais, se um teste estiver parecendo excessivamente fragmentado.
  • Repita o teste isoladamente, se ainda estiver falhando.
  • Verifique se há fatores externos que causam falhas de teste, como:
    • Configuração ambiental. Por exemplo, uma configuração de máquina desktop mal configurada pode ser a causa de falhas de teste que ocorrem em todos os dispositivos sob teste (DUTs) (incluindo dispositivos de referência).
    • Dependências externas. Por exemplo, se um teste falhar em todos os dispositivos em vários sites começando em um momento específico, um URL inválido pode ser o culpado.
    • Se o DUT não incluir o patch de segurança, sua falha no teste de segurança é esperada.
  • Valide e analise as diferenças entre dispositivos aprovados e reprovados.
  • Analisar a afirmação, log, bugreport, ea fonte de CTS . Para um HostTest, a asserção e o log podem ser muito genéricos, portanto, é útil também verificar e anexar o logcat do dispositivo.
  • Envie um patch de melhoria de teste para ajudar a reduzir as falhas de teste.

Salvando resultados parciais

Tradefed não salva resultados de teste parciais quando a invocação de teste falha.

Quando o Tradefed não está gerando nenhum resultado de teste, está implícito que um problema sério ocorreu durante a execução do teste, tornando o resultado do teste não confiável. O resultado parcial é considerado inútil, pois não fornece valor ao investigar o problema do dispositivo.