Penjadwalan workload

Di Android 17 dan yang lebih tinggi, Neural Processing Unit (NPU) Manager mengoordinasikan kontrol penerimaan model dan prioritas workload di seluruh aplikasi dan layanan sistem. Daripada membiarkan tugas latar belakang menghambat tugas latar depan yang sensitif terhadap latensi, layanan sistem npu melacak status siklus proses aplikasi dari ActivityManager dan menyampaikan aturan penjadwalan yang efektif ke driver NPU vendor melalui lapisan abstraksi hardware (HAL) android.hardware.npu Android Interface Definition Language (AIDL).

Framework API untuk arbitrase pemuatan model

Sebelum memanggil library jaringan neural tingkat rendah atau memuat file model besar, klien framework berinteraksi dengan android.npumanager.NpuManager untuk mencadangkan kapasitas model. NpuManager adalah API sistem (@SystemApi), bukan API SDK aplikasi publik, dan pemanggil harus memiliki izin android.permission.ACCESS_NPU_MODEL_MANAGER_API. Klien pertama-tama membuat permintaan pemuatan model, lalu menjalankan alur permintaan dan persetujuan asinkron.

Membuat permintaan pemuatan model

Pemuatan model diwakili oleh ModelLoadRequest. Objek ini berisi parameter berikut:

  • ID permintaan unik
  • Perkiraan class ukuran model: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB, atau NPU_MODEL_SIZE_GREATER_THAN_2G
  • Prioritas workload yang dimaksud, seperti NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL, atau NPU_MODEL_PRIORITY_OPPORTUNISTIC

Contoh Java berikut membuat ModelLoadRequest untuk model yang lebih besar dari 2 GB dengan prioritas eksekusi normal:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

Menjalankan alur permintaan dan persetujuan

Klien mengirimkan pemesanan secara asinkron menggunakan metode requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

Saat kapasitas NPU dievaluasi atau tekanan sistem berubah, framework akan memberi tahu klien melalui ModelLoadRequestCallback dengan peristiwa berikut:

  • onCanLoadModel(request, status, listener): Diaktifkan saat permintaan disetujui. Klien menerima token NpuManager.ModelLoadStatusListener. Setelah memuat model ke dalam memori NPU, klien harus memanggil listener.notifyModelLoaded(request).
  • onRequestUnloadModel(request) atau onRequestUnloadModel(request, reason): Diaktifkan saat sistem mengalami pertentangan resource, seperti workload latar depan yang masuk atau lonjakan suhu, dan mengharuskan klien untuk merilis modelnya. Setelah merilis resource NPU, klien harus memanggil listener.notifyModelUnloaded(request).
  • onModelLoadRequestComplete(request, status): Memberi tahu klien tentang transisi siklus proses permintaan terminal, seperti pembatalan.

Klien dapat membatalkan permintaan yang tertunda kapan saja dengan memanggil cancelModelLoad(request).

Integrasi HAL penjadwalan

Implementasi vendor khusus perangkat terintegrasi dengan penjadwal platform dengan mengimplementasikan antarmuka layanan IScheduling.aidl dalam paket android.hardware.npu.

Mengonfigurasi prioritas UID dan kontrol akses

Layanan sistem npu mengirimkan nilai prioritas per UID dan aturan akses ke HAL vendor menggunakan setSchedulingConfigs dan updateSchedulingConfigs dengan parcelable SchedulingConfig.aidl:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

Setiap kolom di SchedulingConfig mengontrol cara driver NPU vendor menengahi pekerjaan yang dikirimkan oleh ID pengguna (UID):

Kolom atau konstanta Deskripsi
MIN_PRIORITY dan MAX_PRIORITY Batas prioritas yang valid (0 hingga 1000), dengan MIN_PRIORITY (0) mewakili prioritas penjadwalan tertinggi dan MAX_PRIORITY (1000) mewakili prioritas penjadwalan terendah.
uid UID Linux aplikasi klien atau layanan sistem.
priority Skor kepentingan platform dalam rentang 0 hingga 1000, dengan 0 sebagai prioritas tertinggi. Turunan dari status proses ActivityManager sehingga aplikasi latar depan mengungguli proses yang di-cache atau proses latar belakang.
hasDirectAccess Apakah uid diizinkan untuk membuka sesi eksekusi NPU langsung. Jika false, pembuatan atau eksekusi sesi langsung akan gagal dengan EX_SECURITY.
canAttributeOtherUid Apakah layanan perantara dengan hak istimewa, seperti AICore, diizinkan untuk mengatribusikan penggunaan daya dan pekerjaan NPU ke klien panggilan originalUid.

Penjadwal NPU vendor harus menghitung prioritas efektif dalam rentang 0 hingga 2000 (dengan 0 adalah prioritas tertinggi) dengan menambahkan SchedulingConfig.priority (0 hingga 1000) ke prioritas tugas yang diminta klien yang dinormalisasi ke 0 hingga 1000, dan menjadwalkan antrean eksekusi hardware sesuai dengan prioritas efektif tersebut. Misalnya, jika aplikasi latar belakang mengirimkan tugas prioritas tinggi, skor priority yang lebih tinggi akan menurunkan prioritas efektifnya (menghasilkan nilai numerik yang lebih tinggi) sehingga tidak menunda workload kamera atau UI latar depan.

Melaporkan status dan atribusi tugas

Driver vendor melaporkan siklus proses grup eksekusi NPU kembali ke platform menggunakan WorkInfo.aidl:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

Saat layanan perantara dengan canAttributeOtherUid yang diaktifkan menjalankan model atas nama aplikasi klien, originalUid akan membawa UID aplikasi asal, sementara uid mengidentifikasi layanan yang mengirimkan. Pemisahan ini memungkinkan telemetri platform dan penghitungan daya menagih pekerjaan ke aplikasi yang meminta, bukan ke daemon perantara.

Mengonfigurasi debounce peristiwa

Saat pemroses ISchedulingCallback didaftarkan dengan IScheduling.setCallback, HAL akan mendebounce notifikasi pekerjaan terkait di setidaknya ISchedulingCallback.DEBOUNCE_DURATION_MS (50 md). Item pekerjaan dianggap terkait jika memiliki uid, originalUid, dan debugFeatureId yang sama, atau memiliki groupId yang sama. Debouncing menyembunyikan badai callback yang cepat selama streaming atau inferensi multi-langkah, sehingga mengurangi overhead Binder dan banjir log.

Status siklus proses callback dilaporkan melalui tiga metode di ISchedulingCallback:

  • onWorkRequested: Workload diterima oleh layanan atau driver vendor.
  • onWorkStarted: Eksekusi hardware dimulai, diberi tag dengan StartReason:
    • StartReason.INITIAL: Eksekusi awal untuk permintaan aplikasi baru.
    • StartReason.RESUMED: Eksekusi dilanjutkan setelah dijeda (PAUSED).
  • onWorkEnded: Eksekusi hardware berhenti setelah DEBOUNCE_DURATION_MS berlalu tanpa pekerjaan tindak lanjut terkait, yang diberi tag dengan EndReason:
    • EndReason.COMPLETED: Eksekusi selesai secara normal.
    • EndReason.CANCELLED_USER: Eksekusi dibatalkan oleh aplikasi panggilan.
    • EndReason.CANCELLED_SYSTEM: Eksekusi di-preempt dan dibatalkan oleh pekerjaan dengan prioritas lebih tinggi.
    • EndReason.PAUSED: Eksekusi dijeda sementara untuk menjalankan pekerjaan dengan prioritas lebih tinggi dan memenuhi syarat untuk dilanjutkan dengan StartReason.RESUMED.
    • EndReason.FAILED: Eksekusi gagal karena error driver atau hardware.

Validasi

Validasi implementasi penjadwalan NPU dengan suite pengujian berikut:

  • Suite Pengujian Vendor (VTS): Jalankan VtsHalNpuSchedulingTargetTest (dikemas dalam VtsHalNpuTargetTest) untuk memverifikasi update konfigurasi IScheduling, pengurutan prioritas yang efektif, aturan atribusi UID, dan debouncing ISchedulingCallback.
  • Compatibility Test Suite (CTS): Jalankan CtsNpuManagerMoblyTestCases untuk memverifikasi prioritas workload NPU latar depan versus latar belakang secara menyeluruh. Untuk petunjuk penyiapan pengujian, lihat Menjalankan pengujian Mobly NPU Manager.