Запуск автоматизированных тестов (Android 11 или выше),Запуск автоматизированных тестов (Android 11 или выше)

Для запуска автоматизированных тестов CTS доступны два варианта:

• Trade Federation — это фреймворк для разработки приложений и тестирования, позволяющий запускать тесты из командной строки. По сути, фреймворк позволяет аннотировать тесты с помощью аннотации @Test , а приложение находит и запускает эти тесты.

• OmniLab Android Test Station — это приложение, позволяющее запускать тесты в графическом интерфейсе пользователя.

На этой странице объясняется, как запускать автоматизированные тесты с помощью Trade Federation. Инструкции по запуску тестов с использованием OmniLab Android Test Harness см. в разделе OmniLab Android Test Station .

Запустите все автоматизированные тесты CTS.

В состав Trade Federation входит консоль CTS — интерфейс командной строки для запуска тестов. Чтобы запустить весь автоматизированный набор тестов CTS:

1. Убедитесь, что вы выполнили все инструкции в разделе «Настройка автоматизированного тестирования CTS» .

2. На тестовой рабочей станции запустите консоль CTS, выполнив скрипт cts-tradefed из папки, куда был распакован пакет CTS:

   ./android-cts/tools/cts-tradefed
   

   В консоли CTS отображается курсор для ввода команд CTS ( cts-tradefed > ).

3. План тестирования cts содержит все автоматизированные тесты CTS. Для запуска плана тестирования cts выполните следующую команду:

   run cts
   

   Автоматизированные тесты CTS выполняются. Обратите внимание на следующее:

   • Android 13 и более поздние версии поддерживают тестирование на нескольких устройствах. Эти тесты запускаются автоматически только при использовании сегментирования. Дополнительную информацию о сегментировании см. в разделе «Улучшение времени выполнения тестов» . Если вы хотите запустить эти тесты вручную, см. раздел «Запуск тестов на нескольких устройствах» .

   • При каждом запуске CTS нажмите Ctrl+C, чтобы остановить существующую консоль CTS, а затем запустите консоль CTS снова.

   • На одном хосте нельзя запустить несколько версий CTS, поскольку каждая из них открывается с использованием существующего сервера с открытым кодом местоположения (OLC).

4. Просмотреть результаты теста. Для получения дополнительной информации см. раздел «Интерпретация результатов CTS» .

5. Если это ваш первый запуск теста, некоторые тесты могут завершиться неудачей из-за проблем, не зависящих от вас. Например, может быть медленное сетевое соединение или слабый сигнал GPS. Повторяйте (повторяйте) тесты до тех пор, пока все тестовые модули не будут завершены, а количество ошибок тестов не совпадет с показателями двух последних повторных запусков.

   run retry --retry session_number`
   

6. После того, как сбои тестов будут повторяться при повторных попытках, сосредоточьтесь на отладке оставшихся неудачных тестов. Информацию об устранении неполадок в результатах тестирования см. в разделах «Анализ сбоев тестов» и «Устранение неполадок в тестах CTS» .

Запустите CTS для устройств с несколькими экранами.

Если на вашем устройстве установлена ​​Android 11 или 12, и оно имеет несколько экранов, вам необходимо запустить тестовый план cts-foldable отдельно:

run cts-foldable

К пройденным или не пройденным тестовым случаям для альтернативного режима экрана добавляется значение из display_mode , например, testcase1[display_mode=0] .

Проведите тестирование на нескольких устройствах (Android 15 или ниже).

Выполните следующую команду, чтобы запустить план тестирования cts-multidevice :

run cts-multidevice

Запустите отдельные планы тестирования

Вместо запуска всех планов тестирования одновременно, вы можете запускать отдельные планы тестирования. Этот вариант полезен для экономии времени и сосредоточения внимания на определенном наборе тестов. Чтобы запустить отдельный план тестирования:

1. Укажите имя плана тестирования, который вы хотите запустить, выполнив команду list modules .

2. Запустите план тестирования:

   run cts --plan test_module_or_plan_name
   

Улучшение времени выполнения тестов.

Для сокращения времени выполнения тестов можно распределить их по нескольким устройствам. Для этого хост должен подключить как минимум два устройства, но для повышения эффективности рекомендуется использовать шесть и более устройств.

Для сегментирования тестов на Android 11 или более поздних версиях выполните:

run cts --shard-count number_of_shards

Кроме того, перед запуском тестов для проверки вы можете сократить время их выполнения, используя команду CTS run cts-dev . Эта команда пропускает предварительные условия, сбор информации об устройстве и все проверки состояния системы. Она также запускает тесты только для одного ABI.