Arbeitslastplanung

In Android 17 und höher koordiniert der Neural Processing Unit (NPU) Manager die Zulassungssteuerung für Modelle und die Priorität von Arbeitslasten für Apps und Systemdienste. Anstatt zuzulassen, dass Hintergrundjobs latenzempfindliche Vordergrundaufgaben blockieren, verfolgt der Systemdienst npu die Lebenszyklusstatus von Apps aus ActivityManager und leitet effektive Planungsregeln über die Hardwareabstraktionsschicht (HAL) der Android Interface Definition Language (AIDL) android.hardware.npu an den NPU-Treiber des Anbieters weiter.

Framework API für die Schlichtung von Modelllasten

Bevor Framework-Clients Low-Level-Bibliotheken für neuronale Netzwerke aufrufen oder große Modelldateien laden, interagieren sie mit android.npumanager.NpuManager, um Modellkapazität zu reservieren. NpuManager ist eine System-API (@SystemApi), keine öffentliche App-SDK-API, und Aufrufer müssen die Berechtigung android.permission.ACCESS_NPU_MODEL_MANAGER_API haben. Clients erstellen zuerst eine Anfrage zum Laden des Modells und führen dann den asynchronen Anfrage- und Genehmigungsablauf aus.

Anfrage zum Laden eines Modells erstellen

Eine Modelllade-Reservierung wird durch ModelLoadRequest dargestellt. Dieses Objekt enthält die folgenden Parameter:

  • Eindeutige Anfragekennung
  • Geschätzte Modellgrößenklasse: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB oder NPU_MODEL_SIZE_GREATER_THAN_2G
  • Gewünschte Arbeitslastpriorität, z. B. NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL oder NPU_MODEL_PRIORITY_OPPORTUNISTIC

Im folgenden Java-Beispiel wird ein ModelLoadRequest für ein Modell mit mehr als 2 GB und normaler Ausführungspriorität erstellt:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

Anfrage- und Genehmigungsablauf ausführen

Clients senden die Reservierung asynchron mit der Methode requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

Wenn die NPU-Kapazität bewertet wird oder sich die Systemauslastung ändert, benachrichtigt das Framework den Client über ModelLoadRequestCallback mit den folgenden Ereignissen:

  • onCanLoadModel(request, status, listener): Wird ausgelöst, wenn die Anfrage genehmigt wird. Der Client empfängt ein NpuManager.ModelLoadStatusListener-Token. Nachdem das Modell in den NPU-Speicher geladen wurde, muss der Client listener.notifyModelLoaded(request) aufrufen.
  • onRequestUnloadModel(request) oder onRequestUnloadModel(request, reason): Wird ausgelöst, wenn das System Ressourcenkonflikte hat, z. B. durch eine eingehende Vordergrundarbeitslast oder einen Temperaturanstieg, und der Client sein Modell freigeben muss. Nachdem die NPU-Ressourcen freigegeben wurden, muss der Client listener.notifyModelUnloaded(request) aufrufen.
  • onModelLoadRequestComplete(request, status): Benachrichtigt den Client über Übergänge im Lebenszyklus von Terminalanfragen, z. B. über einen Abbruch.

Kunden können ausstehende Anfragen jederzeit durch Aufrufen von cancelModelLoad(request) abbrechen.

Planung der HAL-Integration

Gerätespezifische Anbieterimplementierungen werden in den Plattform-Scheduler eingebunden, indem die Dienstschnittstelle IScheduling.aidl im Paket android.hardware.npu implementiert wird.

UID-Prioritäten und Zugriffssteuerung konfigurieren

Der Systemdienst npu überträgt die UID-spezifischen Prioritätswerte und Zugriffsregeln mithilfe von setSchedulingConfigs und updateSchedulingConfigs mit dem Parcelable SchedulingConfig.aidl an die HAL des Anbieters:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

Jedes Feld in SchedulingConfig steuert, wie der NPU-Treiber des Anbieters die von einer Nutzer-ID (UID) gesendete Arbeit koordiniert:

Feld oder Konstante Beschreibung
MIN_PRIORITY und MAX_PRIORITY Gültige Prioritätsgrenzen (0 bis 1000), wobei MIN_PRIORITY (0) die höchste Planungspriorität und MAX_PRIORITY (1000) die niedrigste Planungspriorität darstellt.
uid Linux-UID der Client-App oder des Systemdienstes.
priority Plattform-Wichtigkeitswert im Bereich von 0 bis 1000, wobei 0 die höchste Priorität hat. Abgeleitet vom Prozessstatus ActivityManager, sodass Apps im Vordergrund Vorrang vor im Cache gespeicherten oder Hintergrundprozessen haben.
hasDirectAccess Gibt an, ob uid direkte NPU-Ausführungssitzungen öffnen darf. Wenn false, schlägt die direkte Sitzungserstellung oder -ausführung mit EX_SECURITY fehl.
canAttributeOtherUid Gibt an, ob ein privilegierter Vermittlungsdienst wie AICore berechtigt ist, NPU-Arbeit und ‑Stromverbrauch einem aufrufenden Client originalUid zuzuordnen.

NPU-Planer von Anbietern müssen eine effektive Priorität im Bereich von 0 bis 2000 berechnen (wobei 0 die höchste Priorität ist). Dazu müssen sie SchedulingConfig.priority (0 bis 1000) zur vom Client angeforderten Jobpriorität hinzufügen, die auf 0 bis 1000 normalisiert ist, und Hardware-Ausführungswarteschlangen gemäß dieser effektiven Priorität planen. Wenn beispielsweise eine Hintergrund-App einen Job mit hoher Priorität sendet, wird die effektive Priorität durch den höheren priority-Wert gesenkt (was zu einem höheren numerischen Wert führt), damit die Kamera- oder UI-Arbeitslasten im Vordergrund nicht verzögert werden.

Status und Attribution von Berichtsaufgaben

Anbietertreiber melden den Lebenszyklus von NPU-Ausführungsgruppen mithilfe von WorkInfo.aidl an die Plattform zurück:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

Wenn ein Vermittlungsdienst mit aktiviertem canAttributeOtherUid ein Modell im Namen einer Client-App ausführt, enthält originalUid die UID der ursprünglichen App, während uid den sendenden Dienst identifiziert. Durch diese Trennung können Plattformtelemetrie und Energieabrechnung die Arbeit der anfordernden App anstelle des zwischengeschalteten Daemons in Rechnung stellen.

Ereignis-Debouncing konfigurieren

Wenn ein ISchedulingCallback-Listener bei IScheduling.setCallback registriert ist, entprellt die HAL zugehörige Arbeitsbenachrichtigungen über mindestens ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Arbeitselemente gelten als zusammengehörig, wenn sie dieselben uid, originalUid und debugFeatureId oder dieselbe groupId haben. Durch das Debouncing werden schnelle Callback-Stürme während des Streamings oder mehrstufiger Inferenzläufe unterdrückt, was den Binder-Overhead und die Log-Flut reduziert.

Callback-Lebenszyklusstatus werden über drei Methoden für ISchedulingCallback gemeldet:

  • onWorkRequested: Die Arbeitslast wird vom Dienst oder Treiber des Anbieters empfangen.
  • onWorkStarted: Die Hardwareausführung beginnt, gekennzeichnet mit einem StartReason:
    • StartReason.INITIAL: Erste Ausführung für eine neue App-Anfrage.
    • StartReason.RESUMED: Die Ausführung wurde nach einer Pause fortgesetzt (PAUSED).
  • onWorkEnded: Die Hardwareausführung wird beendet, wenn DEBOUNCE_DURATION_MS ohne zugehörige Folgearbeiten verstrichen ist, die mit einem EndReason gekennzeichnet sind:
    • EndReason.COMPLETED: Die Ausführung wurde normal abgeschlossen.
    • EndReason.CANCELLED_USER: Die Ausführung wurde von der aufrufenden App abgebrochen.
    • EndReason.CANCELLED_SYSTEM: Die Ausführung wurde durch Arbeit mit höherer Priorität vorzeitig beendet und abgebrochen.
    • EndReason.PAUSED: Die Ausführung wurde vorübergehend pausiert, um Arbeit mit höherer Priorität auszuführen, und kann mit StartReason.RESUMED fortgesetzt werden.
    • EndReason.FAILED: Die Ausführung ist aufgrund eines Treiber- oder Hardwarefehlers fehlgeschlagen.

Validierung

Prüfe die Implementierungen der NPU-Planung mit den folgenden Test-Suites:

  • Vendor Test Suite (VTS): Führe VtsHalNpuSchedulingTargetTest (in VtsHalNpuTargetTest enthalten) aus, um die Konfigurationsaktualisierungen für IScheduling, die effektive Prioritätsreihenfolge, die UID-Attributionsregeln und das Entprellen von ISchedulingCallback zu prüfen.
  • Compatibility Test Suite (CTS): Führe CtsNpuManagerMoblyTestCases aus, um die End-to-End-Priorisierung von NPU-Arbeitslasten im Vordergrund gegenüber dem Hintergrund zu prüfen. Eine Anleitung zum Einrichten von Tests finden Sie unter NPU Manager Mobly-Tests ausführen.