Android 17 以降では、Neural Processing Unit(NPU)マネージャーが、アプリとシステム サービス全体でモデルのアドミッション コントロールとワークロードの優先度を調整します。バックグラウンド ジョブがレイテンシに敏感なフォアグラウンド タスクを枯渇させるのを防ぐため、npu システム サービスは ActivityManager からアプリのライフサイクル状態を追跡し、android.hardware.npu Android インターフェース定義言語(AIDL)Hardware Abstraction Layer(HAL)を介してベンダーの NPU ドライバに効果的なスケジューリング ルールを伝達します。
モデル読み込みの調停用のフレームワーク API
フレームワーク クライアントは、低レベルのニューラル ネットワーク ライブラリを呼び出すか、大規模なモデルファイルを読み込む前に、android.npumanager.NpuManager とやり取りしてモデル容量を予約します。NpuManager はシステム API(@SystemApi)であり、一般公開アプリ SDK API ではありません。呼び出し元は android.permission.ACCESS_NPU_MODEL_MANAGER_API 権限を保持している必要があります。クライアントは、まずモデル読み込みリクエストを作成してから、非同期リクエストと承認フローを実行します。
モデル読み込みリクエストを作成する
モデル読み込み予約は ModelLoadRequest で表されます。このオブジェクトには次のパラメータが含まれています。
- 一意のリクエスト ID
- 推定モデルサイズ クラス:
NPU_MODEL_SIZE_LESS_THAN_1GB、NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB、NPU_MODEL_SIZE_GREATER_THAN_2G - 目的のワークロードの優先度(
NPU_MODEL_PRIORITY_BACKGROUND、NPU_MODEL_PRIORITY_NORMAL、NPU_MODEL_PRIORITY_OPPORTUNISTICなど)
次の Java の例では、通常の実行優先度で 2 GB を超えるモデルの ModelLoadRequest をビルドします。
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
リクエストと承認のフローを実行する
クライアントは、requestCanLoadModel メソッドを使用して予約を非同期で送信します。
npuManager.requestCanLoadModel(request, callback, executor);
NPU 容量が評価されるか、システム圧力が変化すると、フレームワークは次のイベントを含む ModelLoadRequestCallback を介してクライアントに通知します。
onCanLoadModel(request, status, listener): リクエストが承認されると呼び出されます。クライアントがNpuManager.ModelLoadStatusListenerトークンを受け取ります。モデルを NPU メモリに読み込んだ後、クライアントはlistener.notifyModelLoaded(request)を呼び出す必要があります。onRequestUnloadModel(request)またはonRequestUnloadModel(request, reason): システムでリソースの競合(フォアグラウンド ワークロードの受信や温度の急上昇など)が発生し、クライアントがモデルを解放する必要がある場合に呼び出されます。NPU リソースを解放した後、クライアントはlistener.notifyModelUnloaded(request)を呼び出す必要があります。onModelLoadRequestComplete(request, status): キャンセルなど、ターミナル リクエストのライフサイクルの移行をクライアントに通知します。
クライアントは、cancelModelLoad(request) を呼び出すことで、保留中のリクエストをいつでもキャンセルできます。
Scheduling HAL の統合
デバイス固有のベンダー実装は、android.hardware.npu パッケージの IScheduling.aidl サービス インターフェースを実装することで、プラットフォーム スケジューラと統合されます。
UID の優先度とアクセス制御を構成する
npu システム サービスは、setSchedulingConfigs と updateSchedulingConfigs を使用して、SchedulingConfig.aidl parcelable で UID ごとの優先度の値とアクセスルールをベンダー HAL に push します。
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
SchedulingConfig の各フィールドは、ベンダー NPU ドライバがユーザー ID(UID)によって送信された作業をどのように調整するかを制御します。
| フィールドまたは定数 | 説明 |
|---|---|
MIN_PRIORITY、MAX_PRIORITY |
有効な優先度の範囲(0~1000)。MIN_PRIORITY(0)は最も高いスケジューリング優先度を表し、MAX_PRIORITY(1000)は最も低いスケジューリング優先度を表します。 |
uid |
クライアント アプリまたはシステム サービスの Linux UID。 |
priority |
プラットフォームの重要度スコア。0~1000 の範囲で、0 が最も高い優先度です。ActivityManager プロセス状態から派生するため、フォアグラウンド アプリはキャッシュに保存されたプロセスやバックグラウンド プロセスよりも優先されます。 |
hasDirectAccess |
uid が直接 NPU 実行セッションを開くことを許可されているかどうか。false の場合、ダイレクト セッションの作成または実行は EX_SECURITY で失敗します。 |
canAttributeOtherUid |
AICore などの特権仲介サービスが、NPU の作業と電力使用量を呼び出し元クライアント originalUid に帰属させることを許可されているかどうか。 |
ベンダーの NPU スケジューラは、SchedulingConfig.priority(0~1000)をクライアントがリクエストしたジョブの優先度(0~1000 に正規化)に加算して、0~2000(0 が最優先)の範囲の実効優先度を計算し、その実効優先度に従ってハードウェア実行キューをスケジュールする必要があります。たとえば、バックグラウンド アプリが優先度の高いジョブを送信すると、priority スコアが高くなることで有効な優先度が下がり(数値が大きくなり)、フォアグラウンドのカメラや UI ワークロードが遅延しなくなります。
タスクのステータスとアトリビューションを報告する
ベンダー ドライバは、WorkInfo.aidl を使用して、NPU 実行グループのライフサイクルをプラットフォームに報告します。
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
canAttributeOtherUid が有効になっている仲介サービスがクライアント アプリに代わってモデルを実行すると、originalUid は元のアプリの UID を保持し、uid は送信元のサービスを識別します。この分離により、プラットフォームのテレメトリーと電力のアカウンティングは、中間デーモンではなく、リクエスト元のアプリに課金されます。
イベントのデバウンスを構成する
ISchedulingCallback リスナーが IScheduling.setCallback に登録されると、HAL は関連する作業通知を少なくとも ISchedulingCallback.DEBOUNCE_DURATION_MS(50 ミリ秒)にわたってデバウンスします。作業項目は、同じ uid、originalUid、debugFeatureId を共有している場合、または同じ groupId を共有している場合に関連していると見なされます。デバウンスにより、ストリーミングやマルチステップ推論の実行中に発生する急激なコールバック ストームが抑制され、Binder のオーバーヘッドとログのフラッディングが軽減されます。
コールバックのライフサイクル ステータスは、ISchedulingCallback の 3 つのメソッドを通じて報告されます。
onWorkRequested: ワークロードがベンダー サービスまたはドライバによって受信されます。onWorkStarted: ハードウェアの実行が開始され、StartReasonのタグが付けられます。StartReason.INITIAL: 新しいアプリ リクエストの最初の実行。StartReason.RESUMED: 一時停止(PAUSED)後に実行が再開されました。
onWorkEnded: 関連するフォローアップ作業なしでDEBOUNCE_DURATION_MSが経過すると、ハードウェアの実行が停止し、EndReasonのタグが付けられます。EndReason.COMPLETED: 実行が正常に完了しました。EndReason.CANCELLED_USER: 呼び出し元のアプリによって実行がキャンセルされました。EndReason.CANCELLED_SYSTEM: 優先度の高い作業によって実行がプリエンプトされ、キャンセルされました。EndReason.PAUSED: 優先度の高い作業を実行するために実行が一時停止され、StartReason.RESUMEDで再開できます。EndReason.FAILED: ドライバまたはハードウェア エラーにより実行に失敗しました。
検証
次のテストスイートを使用して、NPU スケジューリングの実装を検証します。
- ベンダー テストスイート(VTS):
VtsHalNpuSchedulingTargetTest(VtsHalNpuTargetTestにパッケージ化)を実行して、IScheduling構成の更新、有効な優先順位、UID 属性ルール、ISchedulingCallbackデバウンスを検証します。 - 互換性テストスイート(CTS):
CtsNpuManagerMoblyTestCasesを実行して、フォアグラウンドとバックグラウンドの NPU ワークロードの優先順位付けをエンドツーエンドで検証します。テストの設定手順については、NPU Manager Mobly テストを実行するをご覧ください。