Результаты теста CTS помещены в файл:
CTS_ROOT/android-cts/results/start_time.zip
Если вы самостоятельно собрали CTS, CTS_ROOT будет похож на out/host/linux-x86/cts , но может отличаться в зависимости от платформы. Это путь, куда вы распаковали предварительно собранный официальный CTS, загруженный с этого сайта.
Внутри архива находится файл test_result.xml, содержащий фактические результаты.
Отображение результатов для Android 10 и более поздних версий
В архиве находится файл test_result.html, который можно открыть в любом веб-браузере, совместимом с HTML5.
Отображение результатов до Android 10
Чтобы просмотреть результаты теста, откройте файл test_result.xml в любом веб-браузере, поддерживающем HTML5.
Если при использовании браузера Chrome этот файл отображает пустую страницу, измените настройки браузера , включив флаг командной строки --allow-file-access-from-files .
Ознакомьтесь с результатами теста.
Детали результатов теста зависят от используемой вами версии CTS:
- CTS v1 для Android 6.0 и более ранних версий
- CTS v2 для Android 7.0 и более поздних версий
Информация об устройстве
В CTS версии 1 и более ранних версиях выберите «Информация об устройстве» (ссылка над «Сводка теста»), чтобы просмотреть подробную информацию об устройстве, микропрограмме (производитель, модель, версия микропрограммы, платформа) и аппаратном обеспечении устройства (разрешение экрана, клавиатура, тип экрана). В CTS версии 2 информация об устройстве не отображается.
Краткое описание теста
В разделе «Сводка по тестам» представлены подробные сведения о выполненном плане тестирования, такие как название плана CTS, а также время начала и окончания выполнения. Здесь также приводится сводная информация о количестве тестов, которые прошли успешно, не прошли, истекло время выполнения или не могли быть выполнены.
Краткое описание результатов тестирования примера CTS для Android 10
Рисунок 1: Сводка результатов тестирования на примере Android 10 CTS.
Краткое описание тестовых примеров CTS v2
Рисунок 2: Сводка результатов тестового примера CTS v2
Краткое описание тестовых примеров CTS v1
Рисунок 3: Сводка результатов тестового примера CTS v1
Отчет об испытаниях
В следующем разделе, отчете о тестировании CTS, приводится сводная информация о пройденных тестах по каждому пакету продукции.
Далее следует подробная информация о фактически выполненных тестах. В отчете указывается пакет тестов, набор тестов, тестовый случай и выполненные тесты. Показывается результат выполнения теста — пройден, не пройден, истекло время ожидания или тест не выполнен. В случае сбоя теста предоставляются подробные сведения, помогающие диагностировать причину.
Кроме того, трассировка стека ошибки доступна в XML-файле, но не включена в отчет для краткости — просмотр XML-файла в текстовом редакторе должен предоставить подробную информацию об ошибке теста (найдите тег [Test] , соответствующий неудачному тесту, и внутри него найдите тег [StackTrace] ).
Показать пример отчета о тестировании CTS v2
Рисунок 4: Пример отчета о тестировании CTS v2
Показать пример отчета о тестировании CTS v1
Рисунок 5: Пример отчета о тестировании CTS v1
Проверьте файл test_result.xml на наличие незавершенных тестовых модулей.
Чтобы определить количество незавершенных модулей в заданной тестовой сессии, выполните команду 'list results'. Для каждой предыдущей сессии будет указано количество завершенных модулей и общее количество модулей. Чтобы определить, какие модули завершены, а какие незавершены, откройте файл test_result.xml и прочитайте значение атрибута "done" для каждого модуля в отчете о результатах. Модули со значением done = "false" не были завершены.
Сбои в тестах сортировки
Воспользуйтесь следующими рекомендациями для анализа причин сбоев при тестировании.
- Если тест не проходит из-за неправильных предварительных условий, убедитесь, что ваша среда CTS настроена правильно. Это касается физической среды, настройки настольного компьютера и настройки устройства Android.
- Если результаты теста кажутся чрезмерно нестабильными, проверьте стабильность устройства, настройку теста или проблемы в окружающей среде.
- Если тест по-прежнему не проходит, попробуйте выполнить его отдельно.
- Проверьте наличие внешних факторов, вызывающих сбои в тестировании, таких как:
- Настройка среды. Например, неправильная настройка настольного компьютера может быть причиной сбоев тестирования на всех тестируемых устройствах (включая эталонные устройства).
- Внешние зависимости. Например, если тест не проходит на всех устройствах в нескольких местах, начиная с определенного момента времени, причиной может быть некорректный URL-адрес.
- Если тестируемое устройство не включает в себя патч безопасности, ожидается, что оно не пройдет проверку безопасности.
- Проверьте и проанализируйте различия между устройствами, прошедшими проверку, и устройствами, не прошедшими проверку.
- Проанализируйте утверждение, лог, отчет об ошибке и исходный код CTS . Для HostTest утверждение и лог могут быть очень общими, поэтому полезно также проверить и прикрепить logcat устройства.
- Отправьте патч для улучшения тестирования, чтобы помочь уменьшить количество ошибок при тестировании.
Сохранить частичные результаты
Tradefed не сохраняет частичные результаты тестов в случае сбоя при запуске теста.
Если Tradefed не выдает никаких результатов тестирования, это означает, что во время выполнения теста возникла серьезная проблема, что делает результат теста недостоверным. Частичный результат считается бесполезным, поскольку он не представляет ценности при расследовании проблемы с устройством.