W Androidzie 17 i nowszych menedżer procesora neuronowego (NPU) koordynuje kontrolę dostępu do modelu i priorytet zbioru zadań w aplikacjach i usługach systemowych. Zamiast pozwalać, aby zadania w tle blokowały zadania na pierwszym planie, które są wrażliwe na opóźnienia, usługa systemowa npu śledzi stany cyklu życia aplikacji z ActivityManager i przekazuje skuteczne reguły planowania do sterownika NPU dostawcy za pomocą warstwy abstrakcji sprzętowej (HAL) języka definiowania interfejsu Androida (AIDL) android.hardware.npu.
Interfejs API platformy do arbitrażu wczytywania modelu
Przed wywołaniem bibliotek sieci neuronowych niskiego poziomu lub wczytaniem dużych plików modeli klienci platformy wchodzą w interakcję z android.npumanager.NpuManager, aby zarezerwować pojemność modelu. NpuManager to systemowy interfejs API (@SystemApi), a nie publiczny interfejs API pakietu SDK aplikacji publicznej. Wywołujący muszą mieć uprawnienia android.permission.ACCESS_NPU_MODEL_MANAGER_API. Klienci najpierw tworzą żądanie wczytania modelu, a następnie uruchamiają przepływ żądania asynchronicznego i zatwierdzenia.
Tworzenie żądania wczytania modelu
Rezerwacja ładowania modelu jest reprezentowana przez ModelLoadRequest. Ten obiekt zawiera te parametry:
- Unikalny identyfikator żądania
- Szacowana klasa rozmiaru modelu:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBlubNPU_MODEL_SIZE_GREATER_THAN_2G - Docelowy priorytet zbioru zadań, np.
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALlubNPU_MODEL_PRIORITY_OPPORTUNISTIC
Ten przykład w języku Java tworzy obiekt ModelLoadRequest dla modelu większego niż 2 GB z normalnym priorytetem wykonywania:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Wykonywanie procesu prośby i zatwierdzenia
Klienci przesyłają rezerwację asynchronicznie za pomocą metody requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Gdy oceniana jest wydajność NPU lub zmienia się obciążenie systemu, platforma powiadamia klienta za pomocą ModelLoadRequestCallback o tych zdarzeniach:
onCanLoadModel(request, status, listener): uruchamiane, gdy prośba zostanie zatwierdzona. Klient otrzymuje tokenNpuManager.ModelLoadStatusListener. Po wczytaniu modelu do pamięci NPU klient musi wywołać funkcjęlistener.notifyModelLoaded(request).onRequestUnloadModel(request)lubonRequestUnloadModel(request, reason): wywoływane, gdy w systemie występuje rywalizacja o zasoby, np. przychodzące zadanie na pierwszym planie lub skok temperatury, i wymaga od klienta zwolnienia modelu. Po zwolnieniu zasobów NPU klient musi wywołać funkcjęlistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): powiadamia klienta o zmianach stanu cyklu życia żądania terminala, takich jak anulowanie.
Klienci mogą w każdej chwili anulować oczekujące prośby, dzwoniąc pod numer cancelModelLoad(request).
Integracja HAL planowania
Implementacje dostawców dla konkretnych urządzeń integrują się z harmonogramem platformy przez implementację interfejsu usługi IScheduling.aidl w pakiecie android.hardware.npu.
Konfigurowanie priorytetów UID i kontroli dostępu
Usługa systemowa npu przekazuje wartości priorytetów i reguły dostępu dla poszczególnych identyfikatorów UID do warstwy HAL dostawcy, używając setSchedulingConfigs i updateSchedulingConfigs z możliwym do spakowania obiektem SchedulingConfig.aidl:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Każde pole w SchedulingConfig określa, jak sterownik NPU dostawcy rozstrzyga zadania przesłane przez identyfikator użytkownika (UID):
| Pole lub stała | Opis |
|---|---|
MIN_PRIORITY i MAX_PRIORITY |
Prawidłowe granice priorytetu (od 0 do 1000), gdzie MIN_PRIORITY (0) reprezentuje najwyższy priorytet planowania, a MAX_PRIORITY (1000) – najniższy.
|
uid |
Identyfikator UID systemu Linux aplikacji klienckiej lub usługi systemowej. |
priority |
Wynik ważności platformy w zakresie od 0 do 1000, gdzie 0 oznacza najwyższy priorytet. Pochodzi ze stanu procesu ActivityManager, więc aplikacje na pierwszym planie mają wyższy priorytet niż procesy w pamięci podręcznej lub procesy w tle.
|
hasDirectAccess |
Określa, czy aplikacja uid może otwierać sesje bezpośredniego wykonywania kodu na NPU. Jeśli false, bezpośrednie tworzenie lub wykonywanie sesji kończy się błędem EX_SECURITY.
|
canAttributeOtherUid |
Czy uprzywilejowana usługa pośrednicząca, taka jak AICore, ma uprawnienia do przypisywania pracy i zużycia energii przez NPU do klienta wywołującego originalUid.
|
Harmonogramy NPU dostawcy muszą obliczać efektywny priorytet w zakresie od 0 do 2000 (gdzie 0 to najwyższy priorytet), dodając SchedulingConfig.priority (od 0 do 1000) do priorytetu zadania żądanego przez klienta, znormalizowanego do zakresu od 0 do 1000, i planować kolejki wykonywania sprzętowego zgodnie z tym efektywnym priorytetem. Jeśli na przykład aplikacja działająca w tle prześle zadanie o wysokim priorytecie, jej wyższy wynik priority obniży jej efektywny priorytet (co spowoduje uzyskanie wyższej wartości liczbowej), dzięki czemu nie opóźni ona zadań aparatu ani interfejsu użytkownika na pierwszym planie.
Raportowanie stanu i atrybucji zadania
Sterowniki dostawcy zgłaszają cykl życia grup wykonywania NPU z powrotem do platformy za pomocą WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Gdy usługa pośrednicząca z włączoną opcją canAttributeOtherUid wykonuje model w imieniu aplikacji klienckiej, originalUid zawiera identyfikator UID aplikacji źródłowej, a uid identyfikuje usługę przesyłającą. Dzięki temu rozdzieleniu telemetria platformy i rozliczanie energii mogą obciążać aplikację wysyłającą żądanie, a nie pośredniczącego demona.
Konfigurowanie debouncingu zdarzeń
Gdy detektor ISchedulingCallback jest zarejestrowany w IScheduling.setCallback, HAL eliminuje drgania powiadomień o powiązanych zadaniach przez co najmniej ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Elementy robocze są uważane za powiązane, gdy mają te same wartości uid, originalUid i debugFeatureId lub groupId. Debouncing zapobiega gwałtownym skokom liczby wywołań zwrotnych podczas strumieniowania lub wieloetapowego wnioskowania, co zmniejsza obciążenie Binder i liczbę logów.
Stany cyklu życia wywołania zwrotnego są raportowane za pomocą 3 metod w interfejsie ISchedulingCallback:
onWorkRequested: zadanie zostało odebrane przez usługę lub sterownik dostawcy.onWorkStarted: rozpoczyna się wykonywanie sprzętowe, oznaczone tagiemStartReason:StartReason.INITIAL: pierwsze uruchomienie w przypadku prośby o nową aplikację.StartReason.RESUMED: wznowiono wykonywanie po wstrzymaniu (PAUSED).
onWorkEnded: wykonywanie sprzętowe zatrzymuje się po upływieDEBOUNCE_DURATION_MSbez powiązanych działań, oznaczonych tagiemEndReason:EndReason.COMPLETED: wykonanie zakończyło się normalnie.EndReason.CANCELLED_USER: wykonywanie zostało anulowane przez aplikację wywołującą.EndReason.CANCELLED_SYSTEM: wykonanie zostało przerwane i anulowane przez zadanie o wyższym priorytecie.EndReason.PAUSED: wykonywanie zostało tymczasowo wstrzymane, aby uruchomić zadanie o wyższym priorytecie, i może zostać wznowione za pomocąStartReason.RESUMED.EndReason.FAILED: nie udało się wykonać z powodu błędu sterownika lub sprzętu.
Walidacja
Zaimplementowane harmonogramowanie NPU możesz zweryfikować za pomocą tych pakietów testów:
- Vendor Test Suite (VTS): uruchom
VtsHalNpuSchedulingTargetTest(w pakiecieVtsHalNpuTargetTest), aby sprawdzić aktualizacje konfiguracjiIScheduling, efektywną kolejność priorytetów, reguły atrybucji UID i eliminację drgańISchedulingCallback. - Compatibility Test Suite (CTS): uruchom
CtsNpuManagerMoblyTestCases, aby sprawdzić kompleksową priorytetyzację zbiorów zadań NPU na pierwszym planie i w tle. Instrukcje konfiguracji testu znajdziesz w artykule Uruchamianie testów Mobly menedżera NPU.