Результаты теста CTS помещаются в файл:
CTS_ROOT/android-cts/results/start_time.zip
Если вы собрали CTS самостоятельно, CTS_ROOT похож на out/host/linux-x86/cts но отличается в зависимости от платформы. Это путь, по которому вы распаковали готовый официальный CTS, скачанный с этого сайта.
Внутри zip-архива находится файл test_result.xml, содержащий фактические результаты.
Отображение результатов для Android 10 и более поздних версий
Файл test_result.html находится внутри zip-архива, вы можете открыть его напрямую в любом веб-браузере, совместимом с HTML5.
Отображение результатов для устройств до Android 10
Откройте файл test_result.xml в любом веб-браузере, совместимом с HTML5, чтобы просмотреть результаты теста.
Если этот файл отображает пустую страницу при использовании браузера Chrome, измените настройки браузера , включив флаг командной строки --allow-file-access-from-files .
Прочитайте результаты теста
Подробности результатов теста зависят от того, какую версию CTS вы используете:
- CTS v1 для Android 6.0 и более ранних версий
- CTS v2 для Android 7.0 и более поздних версий
Информация об устройстве
В CTS v1 и более ранних версиях выберите «Информация об устройстве» (ссылка над «Сводкой теста»), чтобы просмотреть сведения об устройстве, прошивке (марка, модель, сборка прошивки, платформа) и аппаратном обеспечении устройства (разрешение экрана, клавиатура, тип экрана). В CTS v2 информация об устройстве не отображается.
Сводка теста
В разделе «Сводка теста» представлена информация о выполненном плане тестирования, такая как название плана CTS и время начала и окончания выполнения. Здесь также представлена сводка по количеству пройденных, невыполненных, истёкших по времени или невыполненных тестов.
Сводка теста образца Android 10 CTS
Рисунок 1: Итоги тестирования образца Android 10 CTS
Сводка образца теста CTS v2
Рисунок 2: Сводка результатов теста образца CTS v2
Сводка теста образца CTS v1
Рисунок 3: Сводка результатов теста образца CTS v1
Отчет об испытаниях
Следующий раздел, отчет об испытаниях CTS, содержит сводку испытаний, пройденных каждым пакетом.
Далее следует подробная информация о фактически выполненных тестах. В отчёте перечислены пакет тестов, набор тестов, тестовый случай и выполненные тесты. В отчёте указан результат выполнения теста: пройден, провален, истекло время ожидания или не выполнен. В случае сбоя теста предоставляются подробные сведения, помогающие определить причину.
Кроме того, трассировка стека сбоя доступна в XML-файле, но не включена в отчет для обеспечения краткости — просмотр XML-файла с помощью текстового редактора должен предоставить подробную информацию о сбое теста (найдите тег [Test] , соответствующий неудавшемуся тесту, и найдите в нем тег [StackTrace] ).
Показать пример отчета об испытаниях CTS v2
Рисунок 4: Образец отчета об испытаниях CTS v2
Показать образец отчета об испытаниях CTS v1
Рисунок 5: Образец отчета об испытаниях CTS v1
Проверьте test_result.xml на наличие незавершенных тестовых модулей.
Чтобы определить количество незавершённых модулей в данном сеансе тестирования, выполните команду «list results». Количество завершённых модулей и общее количество модулей отображаются для каждого предыдущего сеанса. Чтобы определить, какие модули завершены, а какие нет, откройте файл test_result.xml и прочитайте значение атрибута «done» для каждого модуля в отчёте о результатах. Модули со значением done = «false» не были завершены.
Неудачи теста сортировки
Воспользуйтесь следующими рекомендациями по сортировке неудачных тестов.
- Если тест не пройден из-за неверных предварительных условий, проверьте правильность настройки среды CTS . Это включает в себя физическую среду, настройки настольного компьютера и устройства Android.
- Проверьте стабильность устройства, настройку теста или проблемы окружающей среды, если тест выглядит чрезмерно нестабильным.
- Если тест по-прежнему не удался, попробуйте пройти его отдельно.
- Проверьте внешние факторы, вызывающие сбои в тестировании, такие как:
- Настройка среды. Например, неправильная настройка настольного компьютера может стать причиной сбоев тестирования на всех тестируемых устройствах (DUT) (включая эталонные устройства).
- Внешние зависимости. Например, если тест не пройден на всех устройствах на нескольких сайтах, начиная с определённого момента времени, причиной может быть некорректный URL-адрес.
- Если в состав DUT не входит исправление безопасности, ожидается провал его теста безопасности.
- Проверьте и проанализируйте различия между прошедшими и не прошедшими проверку устройствами.
- Проанализируйте утверждение, журнал, отчёт об ошибке и источник CTS . Для HostTest утверждение и журнал могут быть очень общими, поэтому полезно также проверить и прикрепить logcat устройства.
- Отправьте исправление по улучшению тестирования, чтобы помочь сократить количество сбоев тестирования.
Сохранить частичные результаты
Tradefed не сохраняет частичные результаты теста в случае сбоя вызова теста.
Если Tradefed не выдаёт результаты теста, это означает, что во время теста возникла серьёзная проблема, что делает его недостоверным. Частичный результат считается бесполезным, поскольку он не представляет ценности при расследовании проблемы с устройством.