No Android 17 e versões mais recentes, o gerenciador da unidade de processamento neural
(NPU) coordena o controle de admissão de modelos e a prioridade de carga de trabalho em
apps e serviços do sistema. Em vez de permitir que os jobs em segundo plano prejudiquem
as tarefas em primeiro plano sensíveis à latência, o serviço do sistema npu rastreia os estados do ciclo de vida
do app de ActivityManager e transmite regras de programação eficazes para
o driver de NPU do fornecedor pela camada de abstração de hardware (HAL) da linguagem de definição de interface
do Android (AIDL) android.hardware.npu.
API de framework para arbitragem de carregamento de modelos
Antes de chamar bibliotecas de rede neural de baixo nível ou carregar arquivos de modelo grandes,
os clientes do framework interagem com android.npumanager.NpuManager para reservar capacidade
de modelo. NpuManager é uma API do sistema (@SystemApi), não uma API do SDK de app público,
e os autores da chamada precisam ter a permissão
android.permission.ACCESS_NPU_MODEL_MANAGER_API. Primeiro, os clientes criam uma solicitação de carregamento de modelo e, em seguida, executam o
fluxo de solicitação e aprovação assíncrona.
Criar uma solicitação de carregamento de modelo
Uma reserva de carregamento de modelo é representada por ModelLoadRequest. Esse objeto
contém os seguintes parâmetros:
- Identificador exclusivo da solicitação
- Classe de tamanho do modelo estimado:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBouNPU_MODEL_SIZE_GREATER_THAN_2G - Prioridade da carga de trabalho pretendida, como
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALouNPU_MODEL_PRIORITY_OPPORTUNISTIC
O exemplo em Java a seguir cria um ModelLoadRequest para um modelo maior que
2 GB com prioridade de execução normal:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Executar o fluxo de solicitação e aprovação
Os clientes enviam a reserva de forma assíncrona usando o método requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Quando a capacidade da NPU é avaliada ou a pressão do sistema muda, o framework
notifica o cliente por meio de ModelLoadRequestCallback com os seguintes
eventos:
onCanLoadModel(request, status, listener): acionado quando a solicitação é aprovada. O cliente recebe um tokenNpuManager.ModelLoadStatusListener. Depois de carregar o modelo na memória da NPU, o cliente precisa chamarlistener.notifyModelLoaded(request).onRequestUnloadModel(request)ouonRequestUnloadModel(request, reason): disparado quando o sistema enfrenta contenção de recursos, como uma carga de trabalho em primeiro plano ou um pico térmico, e exige que o cliente libere o modelo. Depois de liberar os recursos da NPU, o cliente precisa chamarlistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): notifica o cliente sobre as transições do ciclo de vida da solicitação do terminal, como o cancelamento.
Os clientes podem cancelar solicitações pendentes a qualquer momento chamando
cancelModelLoad(request).
Integração da HAL de programação
As implementações de fornecedores específicas do dispositivo se integram ao programador da plataforma
implementando a interface de serviço IScheduling.aidl no
pacote android.hardware.npu.
Configurar prioridades de UID e controle de acesso
O serviço do sistema npu envia valores de prioridade por UID e regras de acesso para a
HAL do fornecedor usando setSchedulingConfigs e updateSchedulingConfigs com o
parcelable SchedulingConfig.aidl:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Cada campo em SchedulingConfig controla como o driver de NPU do fornecedor arbitra
o trabalho enviado por um identificador de usuário (UID):
| Campo ou constante | Descrição |
|---|---|
MIN_PRIORITY e MAX_PRIORITY |
Limites de prioridade válidos (0 a 1000), em que
MIN_PRIORITY (0) representa a prioridade de programação
mais alta e MAX_PRIORITY (1000)
representa a prioridade de programação mais baixa.
|
uid |
UID do Linux do app cliente ou do serviço do sistema. |
priority |
Pontuação de importância da plataforma no intervalo de 0 a
1000, em que 0 é a prioridade mais alta. Derivado
do estado do processo ActivityManager para que os apps em primeiro plano
superem os processos em cache ou em segundo plano.
|
hasDirectAccess |
Se o uid tem permissão para abrir sessões de execução direta
da NPU. Se for false, a criação ou execução da sessão direta falhará com EX_SECURITY.
|
canAttributeOtherUid |
Se um serviço intermediário privilegiado, como o AICore, está
autorizado a atribuir o trabalho da NPU e o uso de energia a um cliente de chamada
originalUid.
|
Os programadores de NPU do fornecedor precisam calcular uma prioridade efetiva no intervalo de 0 a
2000 (em que 0 é a prioridade mais alta) adicionando SchedulingConfig.priority
(0 a 1000) à prioridade do job solicitada pelo cliente normalizada para 0 a
1000 e programar filas de execução de hardware de acordo com essa prioridade
efetiva. Por exemplo, se um app em segundo plano enviar um job de alta prioridade, a pontuação
priority mais alta vai reduzir a prioridade efetiva (produzindo um valor numérico
mais alto) para que ele não atrase as cargas de trabalho da câmera ou da interface em primeiro plano.
Informar o status e a atribuição da tarefa
Os drivers do fornecedor informam o ciclo de vida dos grupos de execução da NPU à plataforma
usando WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Quando um serviço intermediário com canAttributeOtherUid ativado executa um
modelo em nome de um app cliente, originalUid carrega o UID do app de origem,
enquanto uid identifica o serviço de envio. Essa separação permite que a telemetria da plataforma e a contabilidade de energia cobrem o trabalho do app solicitante, em vez do daemon intermediário.
Configurar a eliminação de repetição de eventos
Quando um listener ISchedulingCallback é registrado com
IScheduling.setCallback, a HAL elimina as notificações de trabalho relacionadas em
pelo menos ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Os itens de trabalho são
considerados relacionados quando compartilham os mesmos uid, originalUid e
debugFeatureId ou o mesmo groupId. O debouncing suprime tempestades de callback rápidas durante execuções de streaming ou inferência em várias etapas, reduzindo a sobrecarga do Binder e o excesso de registros.
Os estados do ciclo de vida do callback são informados por três métodos em
ISchedulingCallback:
onWorkRequested: a carga de trabalho é recebida pelo serviço ou driver do fornecedor.onWorkStarted: a execução do hardware começa, marcada com umStartReason:StartReason.INITIAL: execução inicial de uma nova solicitação de app.StartReason.RESUMED: a execução foi retomada depois de ser pausada (PAUSED).
onWorkEnded: a execução do hardware é interrompida após o tempoDEBOUNCE_DURATION_MSsem trabalho de acompanhamento relacionado, marcado com umEndReason:EndReason.COMPLETED: a execução foi concluída normalmente.EndReason.CANCELLED_USER: a execução foi cancelada pelo app de ligação.EndReason.CANCELLED_SYSTEM: execução interrompida e cancelada por trabalho de prioridade mais alta.EndReason.PAUSED: a execução foi pausada temporariamente para realizar um trabalho de maior prioridade e pode ser retomada comStartReason.RESUMED.EndReason.FAILED: falha na execução devido a um erro de driver ou hardware.
Validação
Valide as implementações de programação de NPU com os seguintes pacotes de testes:
- Conjunto de teste de fornecedor (VTS, na sigla em inglês): execute
VtsHalNpuSchedulingTargetTest(empacotado emVtsHalNpuTargetTest) para verificar as atualizações de configuração deIScheduling, a ordem de prioridade efetiva, as regras de atribuição de UID e o debounce deISchedulingCallback. - Conjunto de teste de compatibilidade (CTS): execute
CtsNpuManagerMoblyTestCasespara verificar a priorização de carga de trabalho da NPU em primeiro plano em comparação com o segundo plano. Para instruções de configuração de teste, consulte Executar testes do Mobly do gerenciador de NPU.