Di Android 17 dan yang lebih tinggi, Neural Processing Unit
(NPU) Manager mengoordinasikan kontrol penerimaan model dan prioritas workload di seluruh
aplikasi dan layanan sistem. Daripada membiarkan tugas latar belakang menghambat
tugas latar depan yang sensitif terhadap latensi, layanan sistem npu melacak status siklus proses
aplikasi dari ActivityManager dan menyampaikan aturan penjadwalan yang efektif ke
driver NPU vendor melalui lapisan abstraksi hardware (HAL) android.hardware.npu Android Interface
Definition Language (AIDL).
Framework API untuk arbitrase pemuatan model
Sebelum memanggil library jaringan neural tingkat rendah atau memuat file model besar,
klien framework berinteraksi dengan android.npumanager.NpuManager untuk mencadangkan kapasitas
model. NpuManager adalah API sistem (@SystemApi), bukan API SDK aplikasi publik,
dan pemanggil harus memiliki izin
android.permission.ACCESS_NPU_MODEL_MANAGER_API. Klien pertama-tama membuat permintaan pemuatan model, lalu menjalankan
alur permintaan dan persetujuan asinkron.
Membuat permintaan pemuatan model
Pemuatan model diwakili oleh ModelLoadRequest. Objek ini
berisi parameter berikut:
- ID permintaan unik
- Perkiraan class ukuran model:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB, atauNPU_MODEL_SIZE_GREATER_THAN_2G - Prioritas workload yang dimaksud, seperti
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMAL, atauNPU_MODEL_PRIORITY_OPPORTUNISTIC
Contoh Java berikut membuat ModelLoadRequest untuk model yang lebih besar dari
2 GB dengan prioritas eksekusi normal:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Menjalankan alur permintaan dan persetujuan
Klien mengirimkan pemesanan secara asinkron menggunakan metode requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Saat kapasitas NPU dievaluasi atau tekanan sistem berubah, framework
akan memberi tahu klien melalui ModelLoadRequestCallback dengan peristiwa
berikut:
onCanLoadModel(request, status, listener): Diaktifkan saat permintaan disetujui. Klien menerima tokenNpuManager.ModelLoadStatusListener. Setelah memuat model ke dalam memori NPU, klien harus memanggillistener.notifyModelLoaded(request).onRequestUnloadModel(request)atauonRequestUnloadModel(request, reason): Diaktifkan saat sistem mengalami pertentangan resource, seperti workload latar depan yang masuk atau lonjakan suhu, dan mengharuskan klien untuk merilis modelnya. Setelah merilis resource NPU, klien harus memanggillistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): Memberi tahu klien tentang transisi siklus proses permintaan terminal, seperti pembatalan.
Klien dapat membatalkan permintaan yang tertunda kapan saja dengan memanggil
cancelModelLoad(request).
Integrasi HAL penjadwalan
Implementasi vendor khusus perangkat terintegrasi dengan penjadwal platform dengan
mengimplementasikan antarmuka layanan IScheduling.aidl dalam
paket android.hardware.npu.
Mengonfigurasi prioritas UID dan kontrol akses
Layanan sistem npu mengirimkan nilai prioritas per UID dan aturan akses ke
HAL vendor menggunakan setSchedulingConfigs dan updateSchedulingConfigs dengan
parcelable SchedulingConfig.aidl:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Setiap kolom di SchedulingConfig mengontrol cara driver NPU vendor menengahi
pekerjaan yang dikirimkan oleh ID pengguna (UID):
| Kolom atau konstanta | Deskripsi |
|---|---|
MIN_PRIORITY dan MAX_PRIORITY |
Batas prioritas yang valid (0 hingga 1000), dengan
MIN_PRIORITY (0) mewakili prioritas
penjadwalan tertinggi dan MAX_PRIORITY (1000)
mewakili prioritas penjadwalan terendah.
|
uid |
UID Linux aplikasi klien atau layanan sistem. |
priority |
Skor kepentingan platform dalam rentang 0 hingga
1000, dengan 0 sebagai prioritas tertinggi. Turunan
dari status proses ActivityManager sehingga aplikasi latar depan
mengungguli proses yang di-cache atau proses latar belakang.
|
hasDirectAccess |
Apakah uid diizinkan untuk membuka sesi eksekusi NPU langsung. Jika false, pembuatan atau
eksekusi sesi langsung akan gagal dengan EX_SECURITY.
|
canAttributeOtherUid |
Apakah layanan perantara dengan hak istimewa, seperti AICore, diizinkan untuk mengatribusikan penggunaan daya dan pekerjaan NPU ke klien panggilan
originalUid.
|
Penjadwal NPU vendor harus menghitung prioritas efektif dalam rentang 0 hingga
2000 (dengan 0 adalah prioritas tertinggi) dengan menambahkan SchedulingConfig.priority
(0 hingga 1000) ke prioritas tugas yang diminta klien yang dinormalisasi ke 0 hingga
1000, dan menjadwalkan antrean eksekusi hardware sesuai dengan prioritas efektif
tersebut. Misalnya, jika aplikasi latar belakang mengirimkan tugas prioritas tinggi, skor priority yang lebih tinggi akan menurunkan prioritas efektifnya (menghasilkan nilai numerik yang lebih tinggi) sehingga tidak menunda workload kamera atau UI latar depan.
Melaporkan status dan atribusi tugas
Driver vendor melaporkan siklus proses grup eksekusi NPU kembali ke platform
menggunakan WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Saat layanan perantara dengan canAttributeOtherUid yang diaktifkan menjalankan
model atas nama aplikasi klien, originalUid akan membawa UID aplikasi asal,
sementara uid mengidentifikasi layanan yang mengirimkan. Pemisahan ini memungkinkan telemetri platform dan penghitungan daya menagih pekerjaan ke aplikasi yang meminta, bukan ke daemon perantara.
Mengonfigurasi debounce peristiwa
Saat pemroses ISchedulingCallback didaftarkan dengan
IScheduling.setCallback, HAL akan mendebounce notifikasi pekerjaan terkait di
setidaknya ISchedulingCallback.DEBOUNCE_DURATION_MS (50 md). Item pekerjaan
dianggap terkait jika memiliki uid, originalUid, dan
debugFeatureId yang sama, atau memiliki groupId yang sama. Debouncing menyembunyikan badai callback yang cepat selama streaming atau inferensi multi-langkah, sehingga mengurangi overhead Binder dan banjir log.
Status siklus proses callback dilaporkan melalui tiga metode di
ISchedulingCallback:
onWorkRequested: Workload diterima oleh layanan atau driver vendor.onWorkStarted: Eksekusi hardware dimulai, diberi tag denganStartReason:StartReason.INITIAL: Eksekusi awal untuk permintaan aplikasi baru.StartReason.RESUMED: Eksekusi dilanjutkan setelah dijeda (PAUSED).
onWorkEnded: Eksekusi hardware berhenti setelahDEBOUNCE_DURATION_MSberlalu tanpa pekerjaan tindak lanjut terkait, yang diberi tag denganEndReason:EndReason.COMPLETED: Eksekusi selesai secara normal.EndReason.CANCELLED_USER: Eksekusi dibatalkan oleh aplikasi panggilan.EndReason.CANCELLED_SYSTEM: Eksekusi di-preempt dan dibatalkan oleh pekerjaan dengan prioritas lebih tinggi.EndReason.PAUSED: Eksekusi dijeda sementara untuk menjalankan pekerjaan dengan prioritas lebih tinggi dan memenuhi syarat untuk dilanjutkan denganStartReason.RESUMED.EndReason.FAILED: Eksekusi gagal karena error driver atau hardware.
Validasi
Validasi implementasi penjadwalan NPU dengan suite pengujian berikut:
- Suite Pengujian Vendor (VTS): Jalankan
VtsHalNpuSchedulingTargetTest(dikemas dalamVtsHalNpuTargetTest) untuk memverifikasi update konfigurasiIScheduling, pengurutan prioritas yang efektif, aturan atribusi UID, dan debouncingISchedulingCallback. - Compatibility Test Suite (CTS): Jalankan
CtsNpuManagerMoblyTestCasesuntuk memverifikasi prioritas workload NPU latar depan versus latar belakang secara menyeluruh. Untuk petunjuk penyiapan pengujian, lihat Menjalankan pengujian Mobly NPU Manager.