Использовать набор повторно

Набор обычно включает несколько тестовых модулей и может достигать довольно большого размера тестового корпуса. Например, Android Compatibility Test Suite (CTS) включает сотни модулей и сотни тысяч тестовых случаев.

Возникает вероятность того, что большое количество тестов окажется неудачным из-за плохой изоляции или выхода устройств из строя.

Функция повтора набора предназначена для решения таких случаев: она позволяет вам повторять только сбои вместо полных наборов, чтобы исключить ненадежность и плохую изоляцию. Если тест постоянно терпит неудачу, повтор также терпит неудачу; и вы получаете гораздо более сильный сигнал о том, что есть реальная проблема.

Реализовать повторную попытку набора

Повтор результатов включает чтение предыдущих результатов и повторный запуск предыдущего вызова.

Основным интерфейсом, управляющим повторной попыткой, является ITestSuiteResultLoader , который позволяет загружать предыдущий результат и предыдущую командную строку.

Затем RetryRescheduler использует эту информацию для воссоздания предыдущей команды и заполнения некоторых фильтров, чтобы повторно запустить только предыдущие неудачные или невыполненные тесты.

Пример повторной попытки набора: CTS

Конфигурация повтора в CTS следующая:

<configuration description="Runs a retry of a previous CTS session.">
    <object type="previous_loader" class="com.android.compatibility.common.tradefed.result.suite.PreviousResultLoader" />
    <test class="com.android.tradefed.testtype.suite.retry.RetryRescheduler" />

    <logger class="com.android.tradefed.log.FileLogger">
        <option name="log-level-display" value="WARN" />
    </logger>
</configuration>

Это применимо к большинству расширяющих его пакетов, например, VTS .

Он будет вызываться с помощью:

cts-tradefed run retry --retry <session>

Сеанс можно найти, выведя список предыдущих результатов в консоли CTS:

cts-tf > l r
Session  Pass  Fail  Modules Complete  Result Directory     Test Plan  Device serial(s)  Build ID   Product
0        2092  30    148 of 999        2018.10.29_14.12.57  cts        [serial]          P          Pixel

Точная исходная команда будет перезагружена и запущена повторно с дополнительными фильтрами. Это означает, что если ваша исходная команда включала некоторые опции, они также являются частью повтора.

Например:

cts-tradefed run cts-dev -m CtsGestureTestCases

Повтор вышеприведенного примера всегда привязан к CtsGestureTestCases , поскольку мы повторяем команду, в которой задействован только он.

Настройте повтор для набора в стиле CTS

Для того, чтобы повтор сработал, предыдущие результаты должны быть экспортированы в формате proto. Необходимо добавить следующее:

<result_reporter class="com.android.compatibility.common.tradefed.result.suite.CompatibilityProtoResultReporter" />

Это необходимо добавить в XML-конфигурацию основной команды, и это приведет к созданию файла test-record.pb в папке результатов.

Затем повторная попытка CTS загружает данные из комбинации test-record.pb и существующего test_result.xml для подготовки вызова повторной попытки.