实现 NNAPI 驱动程序的最佳实践

本页将介绍实现 Neural Networks API (NNAPI) 驱动程序的最佳做法，以便应用开发者广泛采用 NNAPI。

缩短启动时间

如果您的驱动程序在第一次使用时转换模型的权重，请确保驱动程序支持编译缓存，这样可减少应用启动时用于编译的时间。这一点非常重要，因为如果启动时间过长，应用可能会避免使用硬件加速功能。例如，某些应用有超过 100 MB 的权重，每次启动时对这些权重进行转换会浪费时间和资源。

缩短最低延迟时间

为确保模型使用硬件加速功能，一定要降低驱动程序中的最短延迟时间。许多应用会使用多次执行的小型模型，如果执行工作负载的最低延迟过高（例如几毫秒），模型可能会在 CPU 上运行工作负载，这只需要一到两毫秒，而不是使用硬件加速功能。请谨慎处理占用大量资源的线程同步。

使用 NN HAL SchedTune 组

从 Android 11 或更高版本开始，AOSP 包含一个专用的 NN HAL SchedTune 组，这个组允许进程间 NN HAL 进程使用大核心，类似于预定义的 top-app cgroup 组内的相同进程实现。使用此 SchedTune 组可以减少驱动程序开销，特别是对于小型模型而言。

如需使用 SchedTune 组，请将以下行添加到 NN HAL 进程的 init.rc 文件中：

writepid /dev/stune/nnapi-hal/tasks