En Android 17 y versiones posteriores, el administrador de la unidad de procesamiento neuronal (NPU) coordina el controlador de admisión de modelos y la prioridad de las cargas de trabajo en las apps y los servicios del sistema. En lugar de permitir que los trabajos en segundo plano dejen sin recursos a las tareas en primer plano sensibles a la latencia, el servicio del sistema npu hace un seguimiento de los estados del ciclo de vida de la app desde ActivityManager y retransmite reglas de programación eficaces al controlador de la NPU del proveedor a través de la capa de abstracción de hardware (HAL) del lenguaje de definición de la interfaz de Android (AIDL) de android.hardware.npu.
API de framework para el arbitraje de carga de modelos
Antes de llamar a las bibliotecas de redes neuronales de bajo nivel o cargar archivos de modelos grandes,
los clientes del framework interactúan con android.npumanager.NpuManager para reservar la capacidad
del modelo. NpuManager es una API del sistema (@SystemApi), no una API del SDK de la app pública, y los emisores deben tener el permiso android.permission.ACCESS_NPU_MODEL_MANAGER_API. Primero, los clientes crean una solicitud de carga de modelo y, luego, ejecutan el
flujo de solicitud y aprobación asíncrono.
Compila una solicitud de carga de modelo
Una reserva de carga de modelo se representa con ModelLoadRequest. Este objeto contiene los siguientes parámetros:
- Identificador único de la solicitud
- Clase de tamaño de modelo estimado:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBoNPU_MODEL_SIZE_GREATER_THAN_2G - Prioridad de la carga de trabajo prevista, como
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALoNPU_MODEL_PRIORITY_OPPORTUNISTIC
En el siguiente ejemplo de Java, se compila un ModelLoadRequest para un modelo de más de
2 GB con prioridad de ejecución normal:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Ejecuta el flujo de solicitud y aprobación
Los clientes envían la reserva de forma asíncrona con el método
requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Cuando se evalúa la capacidad de la NPU o cambia la presión del sistema, el framework notifica al cliente a través de ModelLoadRequestCallback con los siguientes eventos:
onCanLoadModel(request, status, listener): Se activa cuando se aprueba la solicitud. El cliente recibe un token deNpuManager.ModelLoadStatusListener. Después de cargar el modelo en la memoria de la NPU, el cliente debe llamar alistener.notifyModelLoaded(request).onRequestUnloadModel(request)oonRequestUnloadModel(request, reason): Se activa cuando el sistema experimenta una contención de recursos, como una carga de trabajo en primer plano entrante o un aumento de temperatura, y requiere que el cliente libere su modelo. Después de liberar los recursos de la NPU, el cliente debe llamar alistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): Notifica al cliente sobre las transiciones del ciclo de vida de la solicitud de la terminal, como la cancelación.
Los clientes pueden cancelar las solicitudes pendientes en cualquier momento llamando a
cancelModelLoad(request).
Integración de la HAL de programación
Las implementaciones de proveedores específicas del dispositivo se integran con el programador de la plataforma implementando la interfaz de servicio IScheduling.aidl en el paquete android.hardware.npu.
Configura las prioridades de UID y el control de acceso
El servicio del sistema npu envía valores de prioridad por UID y reglas de acceso a la HAL del proveedor con setSchedulingConfigs y updateSchedulingConfigs con el parcelable SchedulingConfig.aidl:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Cada campo de SchedulingConfig controla cómo el controlador de NPU del proveedor arbitra el trabajo enviado por un identificador de usuario (UID):
| Campo o constante | Descripción |
|---|---|
MIN_PRIORITY y MAX_PRIORITY |
Son los límites de prioridad válidos (de 0 a 1000), en los que
MIN_PRIORITY (0) representa la prioridad de programación más alta
y MAX_PRIORITY (1000)
representa la prioridad de programación más baja.
|
uid |
Es el UID de Linux de la app cliente o el servicio del sistema. |
priority |
Es la puntuación de importancia de la plataforma en el rango de 0 a
1000, en el que 0 es la prioridad más alta. Se deriva del estado del proceso ActivityManager, por lo que las apps en primer plano superan a los procesos almacenados en caché o en segundo plano.
|
hasDirectAccess |
Indica si uid tiene permiso para abrir sesiones de ejecución directa de la NPU. Si es false, la creación o ejecución de la sesión directa
falla con EX_SECURITY.
|
canAttributeOtherUid |
Indica si un servicio intermediario con privilegios, como AICore, está
autorizado para atribuir el trabajo de la NPU y el uso de energía a un cliente que realiza llamadas
originalUid.
|
Los programadores de NPU de proveedores deben calcular una prioridad efectiva en el rango de 0 a 2000 (donde 0 es la prioridad más alta) agregando SchedulingConfig.priority (de 0 a 1000) a la prioridad del trabajo solicitada por el cliente normalizada de 0 a 1000, y programar las colas de ejecución de hardware según esa prioridad efectiva. Por ejemplo, si una app en segundo plano envía un trabajo de alta prioridad, su puntuación de priority más alta disminuye su prioridad efectiva (lo que produce un valor numérico más alto) para que no retrase las cargas de trabajo de la IU o de la cámara en primer plano.
Informa el estado y la atribución de la tarea
Los controladores de proveedores informan el ciclo de vida de los grupos de ejecución de la NPU a la plataforma con WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Cuando un servicio intermediario con canAttributeOtherUid habilitado ejecuta un
modelo en nombre de una app cliente, originalUid lleva el UID de la app de origen,
mientras que uid identifica el servicio que envía la solicitud. Esta separación permite que la telemetría de la plataforma y la contabilidad de energía facturen el trabajo a la app solicitante en lugar de al daemon intermediario.
Configura la eliminación de rebotes de eventos
Cuando se registra un objeto de escucha ISchedulingCallback con IScheduling.setCallback, la HAL elimina las notificaciones de trabajo relacionadas con el rebote durante al menos ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Los elementos de trabajo se consideran relacionados cuando comparten los mismos valores de uid, originalUid y debugFeatureId, o el mismo valor de groupId. La eliminación de rebotes suprime las tormentas rápidas de devoluciones de llamada durante las ejecuciones de inferencia de varios pasos o de transmisión, lo que reduce la sobrecarga de Binder y la inundación de registros.
Los estados del ciclo de vida de la devolución de llamada se informan a través de tres métodos en ISchedulingCallback:
onWorkRequested: El servicio o controlador del proveedor recibe la carga de trabajo.onWorkStarted: Comienza la ejecución del hardware, etiquetada con unStartReason:StartReason.INITIAL: Es la ejecución inicial de una solicitud de app nueva.StartReason.RESUMED: Se reanudó la ejecución después de que se pausó (PAUSED).
onWorkEnded: La ejecución del hardware se detiene después de que transcurreDEBOUNCE_DURATION_MSsin trabajo de seguimiento relacionado, etiquetado con unEndReason:EndReason.COMPLETED: La ejecución se completó con normalidad.EndReason.CANCELLED_USER: La app de llamadas canceló la ejecución.EndReason.CANCELLED_SYSTEM: La ejecución se interrumpió y se canceló debido a un trabajo de mayor prioridad.EndReason.PAUSED: La ejecución se pausó de forma temporal para ejecutar un trabajo de mayor prioridad y se puede reanudar conStartReason.RESUMED.EndReason.FAILED: No se pudo realizar la ejecución debido a un error del controlador o del hardware.
Validación
Valida las implementaciones de programación de NPU con los siguientes paquetes de pruebas:
- Conjunto de pruebas de proveedores (VTS): Ejecuta
VtsHalNpuSchedulingTargetTest(empaquetado enVtsHalNpuTargetTest) para verificar las actualizaciones de configuración deIScheduling, el orden de prioridad efectivo, las reglas de atribución de UID y la eliminación de rebotes deISchedulingCallback. - Conjunto de pruebas de compatibilidad (CTS): Ejecuta
CtsNpuManagerMoblyTestCasespara verificar la priorización de la carga de trabajo de la NPU en primer plano frente a la de segundo plano de extremo a extremo. Para obtener instrucciones de configuración de las pruebas, consulta Cómo ejecutar pruebas de Mobly del administrador de NPU.