Best practice per l'implementazione del driver NNAPI

Questa pagina descrive le best practice per l'implementazione dei driver dell'API Neural Networks (NNAPI) per consentire un'ampia adozione dell'API da parte degli sviluppatori di app.

Riduci i tempi di avvio

Se il driver trasforma i pesi di un modello al primo utilizzo, assicurati che supporti la memorizzazione nella cache della compilazione, che riduce il tempo impiegato per la compilazione all'avvio di un'app. Questo è importante perché le app potrebbero evitare di utilizzare l'accelerazione hardware se i tempi di avvio sono troppo lunghi. Ad esempio, alcune app hanno più di 100 MB di pesi e trasformarli ogni volta che l'app viene lanciata è uno spreco.

Riduci la latenza minima

Per assicurarti che i modelli utilizzino l'accelerazione hardware, è importante ridurre la latenza minima nei driver. Molte app utilizzano modelli di piccole dimensioni che vengono eseguiti più volte e, se la latenza minima per l'esecuzione di un carico di lavoro è troppo elevata, ad esempio alcuni millisecondi, i modelli potrebbero eseguire il carico di lavoro sulla CPU, che richiede solo uno o due millisecondi, anziché utilizzare le accelerazioni hardware. Fai attenzione alla sincronizzazione dei thread dispendiosa.

Utilizzare il gruppo NN HAL SchedTune

A partire da Android 11 o versioni successive, AOSP include un gruppo dedicato SchedTune HAL NN che consente ai processi HAL NN interprocess di utilizzare i core grandi, in modo simile all'implementazione nello stesso processo all'interno del predefinito top-app cgroup. L'utilizzo di questo gruppo SchedTune riduce l'overhead del driver, in particolare per i modelli di piccole dimensioni.

Per utilizzare il gruppo SchedTune, aggiungi la seguente riga al file init.rc del processo HAL NN:

writepid /dev/stune/nnapi-hal/tasks