İş yükü planlama

Android 17 ve sonraki sürümlerde Nöral İşlem Birimi (NPU) Yöneticisi, uygulamalar ve sistem hizmetleri genelinde model kabul kontrolünü ve iş yükü önceliğini koordine eder. Arka plan işlerinin gecikmeye duyarlı ön plan görevlerini engellemesine izin vermek yerine npu sistem hizmeti, ActivityManager uygulamasının yaşam döngüsü durumlarını izler ve etkili planlama kurallarını android.hardware.npu Android Arayüz Tanımlama Dili (AIDL) donanım soyutlama katmanı (HAL) aracılığıyla tedarikçi firma NPU sürücüsüne iletir.

Model yükleme hakemliği için çerçeve API'si

Çerçeve istemcileri, alt düzey nöral ağ kitaplıklarını çağırmadan veya büyük model dosyalarını yüklemeden önce model kapasitesini ayırmak için android.npumanager.NpuManager ile etkileşim kurar. NpuManager, herkese açık bir uygulama SDK API'si değil, sistem API'sidir (@SystemApi). Arayanların android.permission.ACCESS_NPU_MODEL_MANAGER_API iznine sahip olması gerekir. İstemciler önce bir model yükleme isteği oluşturur, ardından asenkron istek ve onay akışını çalıştırır.

Model yükleme isteği oluşturma

Model yükleme rezervasyonu ModelLoadRequest ile temsil edilir. Bu nesne aşağıdaki parametreleri içerir:

  • Benzersiz istek tanımlayıcısı
  • Tahmini model boyutu sınıfı: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB veya NPU_MODEL_SIZE_GREATER_THAN_2G
  • NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL veya NPU_MODEL_PRIORITY_OPPORTUNISTIC gibi amaçlanan iş yükü önceliği

Aşağıdaki Java örneğinde, 2 GB'tan büyük bir model için normal yürütme önceliğine sahip bir ModelLoadRequest oluşturulmaktadır:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

İstek ve onay akışını yürütme

Müşteriler, requestCanLoadModel yöntemini kullanarak rezervasyonu eşzamansız olarak gönderir:

npuManager.requestCanLoadModel(request, callback, executor);

NPU kapasitesi değerlendirildiğinde veya sistem basıncı değiştiğinde çerçeve, aşağıdaki etkinliklerle ModelLoadRequestCallback üzerinden istemciyi bilgilendirir:

  • onCanLoadModel(request, status, listener): İstek onaylandığında tetiklenir. İstemci bir NpuManager.ModelLoadStatusListener jetonu alır. Modeli NPU belleğine yükledikten sonra istemci listener.notifyModelLoaded(request) yöntemini çağırmalıdır.
  • onRequestUnloadModel(request) veya onRequestUnloadModel(request, reason): Sistem, gelen ön plan iş yükü veya termal artış gibi kaynak çekişmesi yaşadığında ve istemcinin modelini yayınlamasını gerektirdiğinde tetiklenir. NPU kaynaklarını serbest bıraktıktan sonra istemcinin listener.notifyModelUnloaded(request) yöntemini çağırması gerekir.
  • onModelLoadRequestComplete(request, status): İptal gibi terminal isteği yaşam döngüsü geçişlerini istemciye bildirir.

Müşteriler, cancelModelLoad(request) numaralı telefonu arayarak bekleyen istekleri diledikleri zaman iptal edebilir.

Zamanlama HAL entegrasyonu

Cihaza özel tedarikçi uygulamaları, android.hardware.npu paketindeki IScheduling.aidl hizmet arayüzünü uygulayarak platform zamanlayıcısıyla entegre olur.

UID önceliklerini ve erişim denetimini yapılandırma

npu sistem hizmeti, UID başına öncelik değerlerini ve erişim kurallarını SchedulingConfig.aidl parcelable ile setSchedulingConfigs ve updateSchedulingConfigs kullanarak tedarikçi firma HAL'sine aktarır:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

SchedulingConfig içindeki her alan, tedarikçi firma NPU sürücüsünün bir kullanıcı kimliği (UID) tarafından gönderilen işleri nasıl değerlendireceğini kontrol eder:

Alan veya sabit Açıklama
MIN_PRIORITY ve MAX_PRIORITY Geçerli öncelik sınırları (0 - 1000). MIN_PRIORITY (0) en yüksek planlama önceliğini, MAX_PRIORITY (1000) ise en düşük planlama önceliğini temsil eder.
uid İstemci uygulamasının veya sistem hizmetinin Linux UID'si.
priority 0 ile 1000 arasında platform önem puanı. 0 en yüksek önceliği gösterir. ActivityManager işlem durumundan türetilir. Bu nedenle, ön planda çalışan uygulamalar önbelleğe alınan veya arka plan işlemleri işlemlerden daha üst sırada yer alır.
hasDirectAccess uid uygulamasının doğrudan NPU yürütme oturumları açmasına izin verilip verilmediği. false ise doğrudan oturum oluşturma veya yürütme işlemi EX_SECURITY ile başarısız olur.
canAttributeOtherUid AICore gibi ayrıcalıklı bir aracı hizmetin, NPU çalışmasını ve güç kullanımını çağıran bir istemciyle ilişkilendirme yetkisine sahip olup olmadığı originalUid.

Tedarikçi NPU planlayıcıları, istemci tarafından istenen iş önceliğine (0 ile 1000 arasında normalleştirilmiş) SchedulingConfig.priority (0 ile 1000 arasında) ekleyerek 0 ile 2000 arasında (0 en yüksek önceliktir) geçerli bir öncelik hesaplamalı ve donanım yürütme sıralarını bu geçerli önceliğe göre planlamalıdır. Örneğin, bir arka plan uygulaması yüksek öncelikli bir iş gönderirse daha yüksek priority puanı, geçerli önceliğini düşürür (daha yüksek bir sayısal değer üretir). Böylece ön plan kamera veya kullanıcı arayüzü iş yüklerini geciktirmez.

Görev durumunu ve ilişkilendirmeyi bildirme

Tedarikçi sürücüleri, WorkInfo.aidl kullanarak NPU yürütme gruplarının yaşam döngüsünü platforma bildirir:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

canAttributeOtherUid etkinleştirilmiş bir aracı hizmet, bir istemci uygulaması adına model çalıştırdığında originalUid, kaynak uygulamanın UID'sini taşır, uid ise gönderen hizmeti tanımlar. Bu ayrım, platform telemetrisi ve güç hesaplamasının, işi aracı daemon yerine istekte bulunan uygulamaya faturalandırmasına olanak tanır.

Etkinliklerin ardışık tekrarını yapılandırma

IScheduling.setCallback ile bir ISchedulingCallback dinleyici kaydedildiğinde HAL, ilgili iş bildirimlerini en az ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms) boyunca geciktirir. Aynı uid, originalUid ve debugFeatureId değerlerini veya aynı groupId değerini paylaşan iş öğeleri ilişkili kabul edilir. Debouncing, akış veya çok adımlı çıkarım işlemleri sırasında hızlı geri çağırma fırtınalarını bastırarak Binder ek yükünü ve günlük taşmasını azaltır.

Geri çağırma yaşam döngüsü durumları, ISchedulingCallback üzerinde üç yöntemle raporlanır:

  • onWorkRequested: İş yükü, tedarikçi hizmeti veya sürücü tarafından alınır.
  • onWorkStarted: Donanım yürütme işlemi başlar ve StartReason ile etiketlenir:
    • StartReason.INITIAL: Yeni bir uygulama isteği için ilk yürütme çalıştırması.
    • StartReason.RESUMED: Yürütme, duraklatıldıktan sonra devam ettirildi (PAUSED).
  • onWorkEnded: Donanım yürütme, ilgili takip çalışması olmadan DEBOUNCE_DURATION_MS geçtikten sonra durur ve EndReason ile etiketlenir:
    • EndReason.COMPLETED: Yürütme normal şekilde tamamlandı.
    • EndReason.CANCELLED_USER: Yürütme, arama uygulaması tarafından iptal edildi.
    • EndReason.CANCELLED_SYSTEM: Yürütme, daha yüksek öncelikli iş tarafından önceden alındı ve iptal edildi.
    • EndReason.PAUSED: Yürütme, daha yüksek öncelikli işleri çalıştırmak için geçici olarak duraklatıldı ve StartReason.RESUMED ile devam ettirilebilir.
    • EndReason.FAILED: Sürücü veya donanım hatası nedeniyle yürütme başarısız oldu.

Doğrulama

NPU zamanlama uygulamalarını aşağıdaki test paketleriyle doğrulayın:

  • Tedarikçi Test Paketi (VTS): IScheduling yapılandırma güncellemelerini, etkili öncelik sıralamasını, UID ilişkilendirme kurallarını ve ISchedulingCallback ardışık tekrar gidermeyi doğrulamak için VtsHalNpuSchedulingTargetTest (VtsHalNpuTargetTest içinde paketlenmiş) komutunu çalıştırın.
  • Compatibility Test Suite (CTS): Uçtan uca ön plan ve arka plan NPU iş yükü önceliklendirmesini doğrulamak için CtsNpuManagerMoblyTestCases komutunu çalıştırın. Test kurulumu talimatları için NPU Manager Mobly testlerini çalıştırma başlıklı makaleyi inceleyin.