Запуск CTS-тестов

Trade Federation — это среда непрерывного тестирования для запуска тестов на устройствах Android. Чтобы запустить набор тестов совместимости (CTS), сначала прочтите обзор торговой федерации для объяснения структуры тестирования Tradefed.

Чтобы запустить план тестирования:

  1. Настройте тестируемые устройства (DUT) в соответствии с настройкой устройства Android .
  2. Убедитесь, что вы установили последние версии Android Debug Bridge (adb) и Android Asset Packaging Tool (AAPT) и добавили расположение этих инструментов в системный путь вашего компьютера. Сведения об установке этих инструментов см. в разделе Настройка CTS: ADB и AAPT.
  3. Загрузите выпущенные сборки CTS на хост-компьютер Linux и разархивируйте сборку на хост.
  4. Подключите хотя бы одно устройство. Для подготовки тестируемого устройства:
    • Нажмите кнопку « Домой », чтобы перевести устройство на главный экран.
    • Не используйте тестируемое устройство для каких-либо других задач.
    • Держите тестируемое устройство в стационарном положении, чтобы избежать срабатывания датчика.
    • Наведите камеру устройства на объект, который можно сфокусировать.
    • Не нажимайте никакие клавиши на устройстве во время работы CTS. Нажатие клавиш или прикосновение к экрану тестируемого устройства мешает выполнению тестов и может привести к их сбоям.
  5. Запустите сценарий cts-tradefed консоли CTS из папки, в которую был разархивирован пакет CTS. В оболочке командной строки хоста запустите:

    ./android-cts/tools/cts-tradefed
  6. Запустите план тестирования по умолчанию (содержит все тестовые пакеты):

    cts-tradefed > run cts
    • Если вы хотите сократить время выполнения теста, вы можете сегментировать тесты на нескольких устройствах. Разделение требует, чтобы хост подключал как минимум два устройства, но для эффективности рекомендуется шесть или более устройств. При шардинге более 1 устройства:

      • Для Android 9 и выше используйте параметр команды

        --shard-count number_of_shards
      • Для Android 8.1 и ниже используйте параметр команды

        --shards number_of_shards
    • Если вы не хотите запускать весь набор тестов, вы можете запустить выбранный вами план CTS из командной строки:

      run cts --plan test_plan_name

      Чтобы найти имя плана тестирования:

      • Для Android 7.0 и выше, чтобы увидеть список тестовых модулей, введите

        list modules
      • Для Android 6.0 и ниже, чтобы просмотреть список планов тестирования в репозитории, введите

        list plans
      • Для Android 6.0 и ниже, чтобы просмотреть список тестовых пакетов в репозитории, введите

        list packages
    • Дополнительные параметры команды в зависимости от версии CTS см. в справочнике по консольным командам или в разделе «Помощь всем» в консоли Tradefed.

  7. Запустите несколько сеансов повторных попыток, пока все тестовые модули не будут завершены, а число неудачных тестов не будет одинаковым в последних двух сеансах повторных попыток.

    • Для Android 9 и выше используйте

      run retry --retry session_number --shard-count number_of_shards
    • Для Android 7.0–8.1 используйте

      run cts --retry session_number --shards number_of_shards
    • Дополнительные параметры команды «Повторить» в зависимости от версии CTS см. в разделе «Консоль команд CTS v2 ».

    • Подробности реализации повторной попытки CTS см. в разделе Повторная попытка пакета Trade Federation Suite .

  8. Просматривайте ход теста и результаты, сообщаемые на консоли.

Запуск CTS с помощью Android Test Station

Android Test Station — это инструмент автоматизации тестирования, который разработчики Android и инженеры по тестированию могут использовать для использования пользовательского интерфейса для запуска стандартных наборов тестов. Он работает с набором тестов совместимости Android (CTS) .

Инструмент общедоступен через Руководство пользователя ATS , а его код находится в открытом доступе в AOSP ( multitest_transport , tradefed_cluster ).

Запуск CTS для альтернативных режимов

В выпуске CTS 10 R4 добавлен план тестирования для устройств с альтернативными режимами или для устройств с более чем одним экраном. Для плана тестирования в альтернативном режиме выполните план тестирования с помощью команды run cts-foldable .

К пройденным или неудачным тестам для альтернативного режима экрана добавляется значение из display_mode, например, testcase1[display_mode=0] .