Результаты теста CTS помещаются в файл:
CTS_ROOT/android-cts/results/start_time.zip
Если вы создали CTS самостоятельно, CTS_ROOT напоминает out/host/linux-x86/cts , но отличается в зависимости от платформы. Это отражает путь, по которому вы распаковали готовый официальный CTS, загруженный с этого сайта.
Внутри zip файл test_result.xml содержит фактические результаты.
Отображение результатов Android 10 и более поздних версий
Файл test_result.html существует в zip-архиве, вы можете напрямую открыть его в любом веб-браузере, совместимом с HTML5.
Отображение результатов до Android 10
Откройте файл test_result.xml в любом веб-браузере, совместимом с HTML5, чтобы просмотреть результаты теста.
Если этот файл отображает пустую страницу при использовании браузера Chrome, измените конфигурацию браузера, чтобы включить флаг командной строки --allow-file-access-from-files .
Чтение результатов теста
Детали результатов теста зависят от того, какую версию CTS вы используете:
- CTS v1 для Android 6.0 и более ранних версий
- CTS v2 для Android 7.0 и более поздних версий
Информация об устройстве
В CTS v1 и более ранних версиях выберите «Информация об устройстве» (ссылка выше «Сводка теста»), чтобы просмотреть сведения об устройстве, микропрограмме (производитель, модель, сборка микропрограммы, платформа) и оборудовании устройства (разрешение экрана, клавиатура, тип экрана). CTS v2 не отображает информацию об устройстве.
Сводка теста
В разделе « Сводка теста » представлены сведения о выполненном плане тестирования, такие как имя плана CTS и время начала и окончания выполнения. Он также представляет сводную информацию о количестве тестов, которые были пройдены, не пройдены, истекло время ожидания или которые не удалось выполнить.
Сводка примера теста Android 10 CTS
Рис. 1. Сводка тестов образца Android 10 CTS
Сводка образца теста CTS v2
Рис. 2. Сводка образцов тестов CTS v2
Сводка образца теста CTS v1
Рис. 3. Сводка тестов образца CTS v1
Отчет об испытаниях
В следующем разделе, отчете о тестировании CTS, содержится сводка тестов, пройденных для каждого пакета.
Затем следует подробная информация о фактических испытаниях, которые были выполнены. В отчете перечислены тестовый пакет, набор тестов, тестовый пример и выполненные тесты. Он показывает результат выполнения теста — пройдено, не выполнено, истекло время ожидания или не выполнено. В случае сбоя теста предоставляются подробные сведения, помогающие диагностировать причину.
Кроме того, трассировка стека ошибки доступна в XML-файле, но не включена в отчет для обеспечения краткости — просмотр XML-файла в текстовом редакторе должен предоставить подробную информацию о сбое теста (найдите тег [Test] , соответствующий неудавшийся тест и найдите в нем тег [StackTrace] ).
Показать образец отчета о тестировании CTS v2
Рис. 4. Образец отчета о тестировании CTS v2
Показать образец отчета о тестировании CTS v1
Рисунок 5: Образец отчета о тестировании CTS v1
Просмотр test_result.xml на наличие незавершенных модулей тестирования
Чтобы определить количество незавершенных модулей в данной тестовой сессии, выполните команду «список результатов». Количество завершенных модулей и общее количество модулей указаны для каждого предыдущего сеанса. Чтобы определить, какие модули завершены, а какие нет, откройте файл test_result.xml и прочитайте значение атрибута «готово» для каждого модуля в отчете о результатах. Модули со значением done = "false" не завершены.
Проверка неудачных тестов
Используйте следующие предложения для сортировки неудачных тестов.
- Убедитесь, что ваша среда CTS настроена правильно, если тест не проходит из-за неправильных предварительных условий. Это включает в себя физическую среду, настройку настольного компьютера и настройку устройства Android.
- Проверьте стабильность устройства, настройку теста или проблемы с окружением, если тест выглядит чрезмерно ненадежным.
- Повторите тест изолированно, если все еще не удается.
- Проверьте внешние факторы, вызывающие сбои теста, такие как:
- Экологическая установка. Например, неправильно сконфигурированная установка настольного компьютера может быть причиной сбоев при тестировании всех тестируемых устройств (DUT) (включая эталонные устройства).
- Внешние зависимости. Например, если тест не пройден на всех устройствах на нескольких сайтах, начиная с определенного момента времени, причиной может быть неверный URL-адрес.
- Если тестируемое устройство не включает исправление безопасности, ожидается, что его проверка безопасности не пройдена.
- Проверяйте и анализируйте различия между пройденными и неисправными устройствами.
- Проанализируйте утверждение, журнал, отчет об ошибке и источник CTS . Для HostTest утверждение и журнал могут быть очень общими, поэтому полезно также проверить и прикрепить logcat устройства.
- Отправьте исправление для улучшения тестирования, чтобы уменьшить число сбоев при тестировании.
Сохранение частичных результатов
Tradefed не сохраняет частичные результаты теста в случае сбоя запуска теста.
Когда Tradefed не генерирует никаких результатов тестирования, это означает, что во время выполнения теста возникла серьезная проблема, что делает результат теста ненадежным. Частичный результат считается бесполезным, поскольку он не представляет ценности при расследовании проблемы с устройством.