Programação de cargas de trabalho

No Android 17 e versões mais recentes, o gerenciador da unidade de processamento neural (NPU) coordena o controle de admissão de modelos e a prioridade de carga de trabalho em apps e serviços do sistema. Em vez de permitir que os jobs em segundo plano prejudiquem as tarefas em primeiro plano sensíveis à latência, o serviço do sistema npu rastreia os estados do ciclo de vida do app de ActivityManager e transmite regras de programação eficazes para o driver de NPU do fornecedor pela camada de abstração de hardware (HAL) da linguagem de definição de interface do Android (AIDL) android.hardware.npu.

API de framework para arbitragem de carregamento de modelos

Antes de chamar bibliotecas de rede neural de baixo nível ou carregar arquivos de modelo grandes, os clientes do framework interagem com android.npumanager.NpuManager para reservar capacidade de modelo. NpuManager é uma API do sistema (@SystemApi), não uma API do SDK de app público, e os autores da chamada precisam ter a permissão android.permission.ACCESS_NPU_MODEL_MANAGER_API. Primeiro, os clientes criam uma solicitação de carregamento de modelo e, em seguida, executam o fluxo de solicitação e aprovação assíncrona.

Criar uma solicitação de carregamento de modelo

Uma reserva de carregamento de modelo é representada por ModelLoadRequest. Esse objeto contém os seguintes parâmetros:

  • Identificador exclusivo da solicitação
  • Classe de tamanho do modelo estimado: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB ou NPU_MODEL_SIZE_GREATER_THAN_2G
  • Prioridade da carga de trabalho pretendida, como NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL ou NPU_MODEL_PRIORITY_OPPORTUNISTIC

O exemplo em Java a seguir cria um ModelLoadRequest para um modelo maior que 2 GB com prioridade de execução normal:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

Executar o fluxo de solicitação e aprovação

Os clientes enviam a reserva de forma assíncrona usando o método requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

Quando a capacidade da NPU é avaliada ou a pressão do sistema muda, o framework notifica o cliente por meio de ModelLoadRequestCallback com os seguintes eventos:

  • onCanLoadModel(request, status, listener): acionado quando a solicitação é aprovada. O cliente recebe um token NpuManager.ModelLoadStatusListener. Depois de carregar o modelo na memória da NPU, o cliente precisa chamar listener.notifyModelLoaded(request).
  • onRequestUnloadModel(request) ou onRequestUnloadModel(request, reason): disparado quando o sistema enfrenta contenção de recursos, como uma carga de trabalho em primeiro plano ou um pico térmico, e exige que o cliente libere o modelo. Depois de liberar os recursos da NPU, o cliente precisa chamar listener.notifyModelUnloaded(request).
  • onModelLoadRequestComplete(request, status): notifica o cliente sobre as transições do ciclo de vida da solicitação do terminal, como o cancelamento.

Os clientes podem cancelar solicitações pendentes a qualquer momento chamando cancelModelLoad(request).

Integração da HAL de programação

As implementações de fornecedores específicas do dispositivo se integram ao programador da plataforma implementando a interface de serviço IScheduling.aidl no pacote android.hardware.npu.

Configurar prioridades de UID e controle de acesso

O serviço do sistema npu envia valores de prioridade por UID e regras de acesso para a HAL do fornecedor usando setSchedulingConfigs e updateSchedulingConfigs com o parcelable SchedulingConfig.aidl:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

Cada campo em SchedulingConfig controla como o driver de NPU do fornecedor arbitra o trabalho enviado por um identificador de usuário (UID):

Campo ou constante Descrição
MIN_PRIORITY e MAX_PRIORITY Limites de prioridade válidos (0 a 1000), em que MIN_PRIORITY (0) representa a prioridade de programação mais alta e MAX_PRIORITY (1000) representa a prioridade de programação mais baixa.
uid UID do Linux do app cliente ou do serviço do sistema.
priority Pontuação de importância da plataforma no intervalo de 0 a 1000, em que 0 é a prioridade mais alta. Derivado do estado do processo ActivityManager para que os apps em primeiro plano superem os processos em cache ou em segundo plano.
hasDirectAccess Se o uid tem permissão para abrir sessões de execução direta da NPU. Se for false, a criação ou execução da sessão direta falhará com EX_SECURITY.
canAttributeOtherUid Se um serviço intermediário privilegiado, como o AICore, está autorizado a atribuir o trabalho da NPU e o uso de energia a um cliente de chamada originalUid.

Os programadores de NPU do fornecedor precisam calcular uma prioridade efetiva no intervalo de 0 a 2000 (em que 0 é a prioridade mais alta) adicionando SchedulingConfig.priority (0 a 1000) à prioridade do job solicitada pelo cliente normalizada para 0 a 1000 e programar filas de execução de hardware de acordo com essa prioridade efetiva. Por exemplo, se um app em segundo plano enviar um job de alta prioridade, a pontuação priority mais alta vai reduzir a prioridade efetiva (produzindo um valor numérico mais alto) para que ele não atrase as cargas de trabalho da câmera ou da interface em primeiro plano.

Informar o status e a atribuição da tarefa

Os drivers do fornecedor informam o ciclo de vida dos grupos de execução da NPU à plataforma usando WorkInfo.aidl:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

Quando um serviço intermediário com canAttributeOtherUid ativado executa um modelo em nome de um app cliente, originalUid carrega o UID do app de origem, enquanto uid identifica o serviço de envio. Essa separação permite que a telemetria da plataforma e a contabilidade de energia cobrem o trabalho do app solicitante, em vez do daemon intermediário.

Configurar a eliminação de repetição de eventos

Quando um listener ISchedulingCallback é registrado com IScheduling.setCallback, a HAL elimina as notificações de trabalho relacionadas em pelo menos ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Os itens de trabalho são considerados relacionados quando compartilham os mesmos uid, originalUid e debugFeatureId ou o mesmo groupId. O debouncing suprime tempestades de callback rápidas durante execuções de streaming ou inferência em várias etapas, reduzindo a sobrecarga do Binder e o excesso de registros.

Os estados do ciclo de vida do callback são informados por três métodos em ISchedulingCallback:

  • onWorkRequested: a carga de trabalho é recebida pelo serviço ou driver do fornecedor.
  • onWorkStarted: a execução do hardware começa, marcada com um StartReason:
    • StartReason.INITIAL: execução inicial de uma nova solicitação de app.
    • StartReason.RESUMED: a execução foi retomada depois de ser pausada (PAUSED).
  • onWorkEnded: a execução do hardware é interrompida após o tempo DEBOUNCE_DURATION_MS sem trabalho de acompanhamento relacionado, marcado com um EndReason:
    • EndReason.COMPLETED: a execução foi concluída normalmente.
    • EndReason.CANCELLED_USER: a execução foi cancelada pelo app de ligação.
    • EndReason.CANCELLED_SYSTEM: execução interrompida e cancelada por trabalho de prioridade mais alta.
    • EndReason.PAUSED: a execução foi pausada temporariamente para realizar um trabalho de maior prioridade e pode ser retomada com StartReason.RESUMED.
    • EndReason.FAILED: falha na execução devido a um erro de driver ou hardware.

Validação

Valide as implementações de programação de NPU com os seguintes pacotes de testes:

  • Conjunto de teste de fornecedor (VTS, na sigla em inglês): execute VtsHalNpuSchedulingTargetTest (empacotado em VtsHalNpuTargetTest) para verificar as atualizações de configuração de IScheduling, a ordem de prioridade efetiva, as regras de atribuição de UID e o debounce de ISchedulingCallback.
  • Conjunto de teste de compatibilidade (CTS): execute CtsNpuManagerMoblyTestCases para verificar a priorização de carga de trabalho da NPU em primeiro plano em comparação com o segundo plano. Para instruções de configuração de teste, consulte Executar testes do Mobly do gerenciador de NPU.