In Android 17 und höher koordiniert der Neural Processing Unit (NPU) Manager die Zulassungssteuerung für Modelle und die Priorität von Arbeitslasten für Apps und Systemdienste. Anstatt zuzulassen, dass Hintergrundjobs latenzempfindliche Vordergrundaufgaben blockieren, verfolgt der Systemdienst npu die Lebenszyklusstatus von Apps aus ActivityManager und leitet effektive Planungsregeln über die Hardwareabstraktionsschicht (HAL) der Android Interface Definition Language (AIDL) android.hardware.npu an den NPU-Treiber des Anbieters weiter.
Framework API für die Schlichtung von Modelllasten
Bevor Framework-Clients Low-Level-Bibliotheken für neuronale Netzwerke aufrufen oder große Modelldateien laden, interagieren sie mit android.npumanager.NpuManager, um Modellkapazität zu reservieren. NpuManager ist eine System-API (@SystemApi), keine öffentliche App-SDK-API, und Aufrufer müssen die Berechtigung android.permission.ACCESS_NPU_MODEL_MANAGER_API haben. Clients erstellen zuerst eine Anfrage zum Laden des Modells und führen dann den asynchronen Anfrage- und Genehmigungsablauf aus.
Anfrage zum Laden eines Modells erstellen
Eine Modelllade-Reservierung wird durch ModelLoadRequest dargestellt. Dieses Objekt enthält die folgenden Parameter:
- Eindeutige Anfragekennung
- Geschätzte Modellgrößenklasse:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBoderNPU_MODEL_SIZE_GREATER_THAN_2G - Gewünschte Arbeitslastpriorität, z. B.
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALoderNPU_MODEL_PRIORITY_OPPORTUNISTIC
Im folgenden Java-Beispiel wird ein ModelLoadRequest für ein Modell mit mehr als 2 GB und normaler Ausführungspriorität erstellt:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Anfrage- und Genehmigungsablauf ausführen
Clients senden die Reservierung asynchron mit der Methode requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Wenn die NPU-Kapazität bewertet wird oder sich die Systemauslastung ändert, benachrichtigt das Framework den Client über ModelLoadRequestCallback mit den folgenden Ereignissen:
onCanLoadModel(request, status, listener): Wird ausgelöst, wenn die Anfrage genehmigt wird. Der Client empfängt einNpuManager.ModelLoadStatusListener-Token. Nachdem das Modell in den NPU-Speicher geladen wurde, muss der Clientlistener.notifyModelLoaded(request)aufrufen.onRequestUnloadModel(request)oderonRequestUnloadModel(request, reason): Wird ausgelöst, wenn das System Ressourcenkonflikte hat, z. B. durch eine eingehende Vordergrundarbeitslast oder einen Temperaturanstieg, und der Client sein Modell freigeben muss. Nachdem die NPU-Ressourcen freigegeben wurden, muss der Clientlistener.notifyModelUnloaded(request)aufrufen.onModelLoadRequestComplete(request, status): Benachrichtigt den Client über Übergänge im Lebenszyklus von Terminalanfragen, z. B. über einen Abbruch.
Kunden können ausstehende Anfragen jederzeit durch Aufrufen von cancelModelLoad(request) abbrechen.
Planung der HAL-Integration
Gerätespezifische Anbieterimplementierungen werden in den Plattform-Scheduler eingebunden, indem die Dienstschnittstelle IScheduling.aidl im Paket android.hardware.npu implementiert wird.
UID-Prioritäten und Zugriffssteuerung konfigurieren
Der Systemdienst npu überträgt die UID-spezifischen Prioritätswerte und Zugriffsregeln mithilfe von setSchedulingConfigs und updateSchedulingConfigs mit dem Parcelable SchedulingConfig.aidl an die HAL des Anbieters:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Jedes Feld in SchedulingConfig steuert, wie der NPU-Treiber des Anbieters die von einer Nutzer-ID (UID) gesendete Arbeit koordiniert:
| Feld oder Konstante | Beschreibung |
|---|---|
MIN_PRIORITY und MAX_PRIORITY |
Gültige Prioritätsgrenzen (0 bis 1000), wobei MIN_PRIORITY (0) die höchste Planungspriorität und MAX_PRIORITY (1000) die niedrigste Planungspriorität darstellt.
|
uid |
Linux-UID der Client-App oder des Systemdienstes. |
priority |
Plattform-Wichtigkeitswert im Bereich von 0 bis 1000, wobei 0 die höchste Priorität hat. Abgeleitet vom Prozessstatus ActivityManager, sodass Apps im Vordergrund Vorrang vor im Cache gespeicherten oder Hintergrundprozessen haben.
|
hasDirectAccess |
Gibt an, ob uid direkte NPU-Ausführungssitzungen öffnen darf. Wenn false, schlägt die direkte Sitzungserstellung oder -ausführung mit EX_SECURITY fehl.
|
canAttributeOtherUid |
Gibt an, ob ein privilegierter Vermittlungsdienst wie AICore berechtigt ist, NPU-Arbeit und ‑Stromverbrauch einem aufrufenden Client originalUid zuzuordnen.
|
NPU-Planer von Anbietern müssen eine effektive Priorität im Bereich von 0 bis 2000 berechnen (wobei 0 die höchste Priorität ist). Dazu müssen sie SchedulingConfig.priority (0 bis 1000) zur vom Client angeforderten Jobpriorität hinzufügen, die auf 0 bis 1000 normalisiert ist, und Hardware-Ausführungswarteschlangen gemäß dieser effektiven Priorität planen. Wenn beispielsweise eine Hintergrund-App einen Job mit hoher Priorität sendet, wird die effektive Priorität durch den höheren priority-Wert gesenkt (was zu einem höheren numerischen Wert führt), damit die Kamera- oder UI-Arbeitslasten im Vordergrund nicht verzögert werden.
Status und Attribution von Berichtsaufgaben
Anbietertreiber melden den Lebenszyklus von NPU-Ausführungsgruppen mithilfe von WorkInfo.aidl an die Plattform zurück:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Wenn ein Vermittlungsdienst mit aktiviertem canAttributeOtherUid ein Modell im Namen einer Client-App ausführt, enthält originalUid die UID der ursprünglichen App, während uid den sendenden Dienst identifiziert. Durch diese Trennung können Plattformtelemetrie und Energieabrechnung die Arbeit der anfordernden App anstelle des zwischengeschalteten Daemons in Rechnung stellen.
Ereignis-Debouncing konfigurieren
Wenn ein ISchedulingCallback-Listener bei IScheduling.setCallback registriert ist, entprellt die HAL zugehörige Arbeitsbenachrichtigungen über mindestens ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Arbeitselemente gelten als zusammengehörig, wenn sie dieselben uid, originalUid und debugFeatureId oder dieselbe groupId haben. Durch das Debouncing werden schnelle Callback-Stürme während des Streamings oder mehrstufiger Inferenzläufe unterdrückt, was den Binder-Overhead und die Log-Flut reduziert.
Callback-Lebenszyklusstatus werden über drei Methoden für ISchedulingCallback gemeldet:
onWorkRequested: Die Arbeitslast wird vom Dienst oder Treiber des Anbieters empfangen.onWorkStarted: Die Hardwareausführung beginnt, gekennzeichnet mit einemStartReason:StartReason.INITIAL: Erste Ausführung für eine neue App-Anfrage.StartReason.RESUMED: Die Ausführung wurde nach einer Pause fortgesetzt (PAUSED).
onWorkEnded: Die Hardwareausführung wird beendet, wennDEBOUNCE_DURATION_MSohne zugehörige Folgearbeiten verstrichen ist, die mit einemEndReasongekennzeichnet sind:EndReason.COMPLETED: Die Ausführung wurde normal abgeschlossen.EndReason.CANCELLED_USER: Die Ausführung wurde von der aufrufenden App abgebrochen.EndReason.CANCELLED_SYSTEM: Die Ausführung wurde durch Arbeit mit höherer Priorität vorzeitig beendet und abgebrochen.EndReason.PAUSED: Die Ausführung wurde vorübergehend pausiert, um Arbeit mit höherer Priorität auszuführen, und kann mitStartReason.RESUMEDfortgesetzt werden.EndReason.FAILED: Die Ausführung ist aufgrund eines Treiber- oder Hardwarefehlers fehlgeschlagen.
Validierung
Prüfe die Implementierungen der NPU-Planung mit den folgenden Test-Suites:
- Vendor Test Suite (VTS): Führe
VtsHalNpuSchedulingTargetTest(inVtsHalNpuTargetTestenthalten) aus, um die Konfigurationsaktualisierungen fürIScheduling, die effektive Prioritätsreihenfolge, die UID-Attributionsregeln und das Entprellen vonISchedulingCallbackzu prüfen. - Compatibility Test Suite (CTS): Führe
CtsNpuManagerMoblyTestCasesaus, um die End-to-End-Priorisierung von NPU-Arbeitslasten im Vordergrund gegenüber dem Hintergrund zu prüfen. Eine Anleitung zum Einrichten von Tests finden Sie unter NPU Manager Mobly-Tests ausführen.