Поток управления

Начиная с Android 11, NNAPI включает две операции потока управления, IF и WHILE , которые принимают другие модели в качестве аргументов и выполняют их условно ( IF ) или повторно ( WHILE ). Это позволяет создавать модели, которые выполняют различные операции на основе входных значений или выполняют операции несколько раз без развертывания. Это важно для таких случаев использования, как динамическая RNN и seq2seq.

В NN HAL 1.3 модель включает в себя несколько подграфов, в том числе основной подграф, который используется для указания входных и выходных данных выполнения. Подграф может ссылаться на другие подграфы, используя операнды типа SUBGRAPH . Платформа может отправить операцию потока управления ускорителю, только если ускоритель поддерживает все операции во всех подграфах, на которые ссылается эта операция потока управления.

HAL-интерфейсы

В NN HAL 1.3 определения, относящиеся к потоку управления, находятся в types.hal .

IDevice.hal содержит IDevice , чей метод getSupportedOperations_1_3() должен обрабатывать IF и WHILE иначе, чем другие операции.

IPreparedModel.hal содержит IPreparedModel , чьи методы execute_1_3() , executeSynchronously_1_3() и executeFenced() принимают необязательный аргумент loopTimeoutDuration .

Реализация драйвера

Пример реализации операции см. CpuExecutor::executeIfOperation и CpuExecutor::executeWhileOperation . Пример логики проверки операции см. в разделе validateIfOperation() и validateWhileOperation() .

Обратите внимание, что важно поддерживать арифметические операции и операции сравнения с операндами TENSOR_INT32 формы 1 , поскольку их можно использовать в качестве счетчиков циклов. Точно так же операции, производящие операнды TENSOR_BOOL8 формы 1 , должны использоваться с условиями IF и WHILE .

Время ожидания выполнения цикла WHILE

Чтобы предотвратить бесконечные циклы, выполнение должно быть прервано, если цикл WHILE занимает больше времени, чем значение loopTimeoutDuration , переданное в вызов IPreparedModel::execute_1_3() , IPreparedModel::executeSynchronously_1_3() или IPreparedModel::executeFenced() (или значение по умолчанию если опущено).

Проверка

Тесты потока управления являются частью наборов тестов CTS и VTS. Дополнительные сведения см. в разделе Проверка .