ใน Android 17 ขึ้นไป ตัวจัดการหน่วยประมวลผลระบบประสาท (NPU) จะประสานงานการควบคุมการรับโมเดลและลำดับความสำคัญของภาระงานในแอปและบริการของระบบ แทนที่จะปล่อยให้งานที่ทำอยู่เบื้องหลังทำให้งานที่ทำอยู่เบื้องหน้าที่ไวต่อเวลาตอบสนองไม่ได้รับทรัพยากร บริการระบบ npu จะติดตามสถานะวงจรของแอปจาก ActivityManager และส่งต่อกฎการจัดกำหนดการที่มีประสิทธิภาพไปยังไดรเวอร์ NPU ของผู้ให้บริการผ่านระดับชั้นการจัดการฮาร์ดแวร์โดยตรง (HAL) ของภาษาที่ใช้สื่อสารข้อมูลระหว่างคอมโพเนนต์ของ Android (AIDL) android.hardware.npu
Framework API สำหรับการชี้ขาดการโหลดโมเดล
ก่อนที่จะเรียกใช้ไลบรารีโครงข่ายประสาทระดับต่ำหรือโหลดไฟล์โมเดลขนาดใหญ่ ไคลเอ็นต์เฟรมเวิร์กจะโต้ตอบกับ android.npumanager.NpuManager เพื่อจองความจุของโมเดล NpuManager เป็น API ของระบบ (@SystemApi) ไม่ใช่ API ของ SDK แอปสาธารณะ และผู้เรียกต้องมีสิทธิ์ android.permission.ACCESS_NPU_MODEL_MANAGER_API ไคลเอ็นต์จะสร้างคำขอโหลดโมเดลก่อน จากนั้นจึงเรียกใช้คำขอที่โหลดแบบอะซิงโครนัสและขั้นตอนการอนุมัติ
สร้างคำขอโหลดโมเดล
การจองการโหลดโมเดลจะแสดงด้วย ModelLoadRequest ออบเจ็กต์นี้มีพารามิเตอร์ต่อไปนี้
- ตัวระบุคำขอที่ไม่ซ้ำกัน
- คลาสขนาดโมเดลโดยประมาณ:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBหรือNPU_MODEL_SIZE_GREATER_THAN_2G - ลำดับความสำคัญของภาระงานที่ต้องการ เช่น
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALหรือNPU_MODEL_PRIORITY_OPPORTUNISTIC
ตัวอย่าง Java ต่อไปนี้จะสร้าง ModelLoadRequest สำหรับโมเดลที่มีขนาดใหญ่กว่า 2 GB โดยมีลำดับความสำคัญในการดำเนินการตามปกติ
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
ดำเนินการตามขั้นตอนคำขอและการอนุมัติ
ไคลเอ็นต์จะส่งการจองแบบไม่พร้อมกันโดยใช้เมธอด requestCanLoadModel ดังนี้
npuManager.requestCanLoadModel(request, callback, executor);
เมื่อมีการประเมินความจุ NPU หรือแรงกดดันของระบบเปลี่ยนแปลง เฟรมเวิร์กจะแจ้งเตือนไคลเอ็นต์ผ่าน ModelLoadRequestCallback ด้วยเหตุการณ์ต่อไปนี้
onCanLoadModel(request, status, listener): เริ่มทำงานเมื่อคำขอได้รับอนุมัติ ไคลเอ็นต์จะได้รับโทเค็นNpuManager.ModelLoadStatusListenerหลังจากโหลดโมเดลลงในหน่วยความจำ NPU แล้ว ไคลเอ็นต์ต้องเรียกใช้listener.notifyModelLoaded(request)onRequestUnloadModel(request)หรือonRequestUnloadModel(request, reason): เริ่มทำงานเมื่อระบบพบการแย่งชิงทรัพยากร เช่น ภาระงานที่เข้ามาในเบื้องหน้าหรืออุณหภูมิที่พุ่งสูงขึ้น และกำหนดให้ไคลเอ็นต์ต้องปล่อยโมเดล หลังจากปล่อยทรัพยากร NPU แล้ว ไคลเอ็นต์ต้องเรียกใช้listener.notifyModelUnloaded(request)onModelLoadRequestComplete(request, status): แจ้งให้ไคลเอ็นต์ทราบถึงการเปลี่ยนสถานะวงจรคำขอของเทอร์มินัล เช่น การยกเลิก
ลูกค้าสามารถยกเลิกคำขอที่รอดำเนินการได้ทุกเมื่อโดยโทรไปที่ cancelModelLoad(request)
การผสานรวม HAL การกำหนดเวลา
การติดตั้งใช้งานของผู้ให้บริการเฉพาะอุปกรณ์จะผสานรวมกับเครื่องจัดตารางเวลาของแพลตฟอร์มโดยการติดตั้งใช้งานอินเทอร์เฟซบริการ IScheduling.aidl ในแพ็กเกจ android.hardware.npu
กำหนดค่าลำดับความสำคัญของ UID และการควบคุมการเข้าถึง
บริการระบบ npu จะพุชค่าลำดับความสำคัญต่อ UID และกฎการเข้าถึงไปยัง HAL ของผู้ให้บริการโดยใช้ setSchedulingConfigs และ updateSchedulingConfigs พร้อมกับพาร์เซล SchedulingConfig.aidl ดังนี้
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
แต่ละช่องใน SchedulingConfig จะควบคุมวิธีที่ไดรเวอร์ NPU ของผู้ให้บริการตัดสินงานที่ส่งโดยตัวระบุผู้ใช้ (UID) ดังนี้
| ฟิลด์หรือค่าคงที่ | คำอธิบาย |
|---|---|
MIN_PRIORITY และ MAX_PRIORITY |
ขอบเขตลำดับความสำคัญที่ถูกต้อง (0 ถึง 1000) โดยที่ MIN_PRIORITY (0) แสดงถึงลำดับความสำคัญสูงสุดในการกำหนดเวลา และ MAX_PRIORITY (1000) แสดงถึงลำดับความสำคัญต่ำสุดในการกำหนดเวลา
|
uid |
UID ของ Linux ของแอปไคลเอ็นต์หรือบริการของระบบ |
priority |
คะแนนความสำคัญของแพลตฟอร์มอยู่ในช่วง 0 ถึง 1000 โดย 0 คือลำดับความสำคัญสูงสุด ได้มาจากสถานะกระบวนการ ActivityManager ดังนั้นแอปที่ทำงานอยู่เบื้องหน้าจึงมีความสำคัญมากกว่ากระบวนการที่แคชไว้หรือกระบวนการเบื้องหลัง
|
hasDirectAccess |
อนุญาตให้ uid เปิดเซสชันการดำเนินการ NPU โดยตรงหรือไม่ หากเป็น false การสร้างหรือ
การดำเนินการเซสชันโดยตรงจะล้มเหลวพร้อมข้อผิดพลาด EX_SECURITY
|
canAttributeOtherUid |
บริการตัวกลางที่มีสิทธิ์พิเศษ เช่น AICore ได้รับอนุญาตให้ระบุแหล่งที่มาของงาน NPU และการใช้พลังงานไปยังไคลเอ็นต์ที่เรียกใช้หรือไม่ originalUid
|
ตัวจัดตารางเวลา NPU ของผู้ให้บริการต้องคำนวณลำดับความสำคัญที่มีผลในช่วง 0 ถึง 2000 (โดยที่ 0 คือลำดับความสำคัญสูงสุด) โดยเพิ่ม SchedulingConfig.priority (0 ถึง 1000) ลงในลำดับความสำคัญของงานที่ไคลเอ็นต์ขอซึ่งปรับให้เป็นมาตรฐานเป็น 0 ถึง 1000 และจัดตารางเวลาคิวการดำเนินการของฮาร์ดแวร์ตามลำดับความสำคัญที่มีผลนั้น ตัวอย่างเช่น หากแอปที่ทำงานอยู่เบื้องหลังส่งงานที่มีลำดับความสำคัญสูง คะแนน priority ที่สูงขึ้นจะลดลำดับความสำคัญที่มีผล (ทำให้ค่าตัวเลขสูงขึ้น) เพื่อไม่ให้เกิดความล่าช้าในภาระงานของกล้องหรือ UI ที่ทำงานอยู่เบื้องหน้า
รายงานสถานะงานและการระบุแหล่งที่มา
ไดรเวอร์ของผู้ให้บริการจะรายงานวงจรของกลุ่มการดำเนินการ NPU กลับไปยังแพลตฟอร์มโดยใช้ WorkInfo.aidl ดังนี้
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
เมื่อบริการตัวกลางที่เปิดใช้ canAttributeOtherUid เรียกใช้โมเดลในนามของแอปไคลเอ็นต์ originalUid จะมี UID ของแอปต้นทาง ขณะที่ uid จะระบุบริการที่ส่ง การแยกนี้ช่วยให้การวัดและส่งข้อมูลทางไกลของแพลตฟอร์มและการบัญชีพลังงานเรียกเก็บเงินค่าการทำงานจากแอปที่ขอแทนที่จะเป็น Daemon ตัวกลาง
กำหนดค่าการดีเบานซ์เหตุการณ์
เมื่อลงทะเบียน Listener ISchedulingCallback กับ IScheduling.setCallback แล้ว HAL จะลดการแจ้งเตือนงานที่เกี่ยวข้องในระยะเวลาอย่างน้อย ISchedulingCallback.DEBOUNCE_DURATION_MS (50 มิลลิวินาที) ระบบจะถือว่ารายการงานมีความเกี่ยวข้องเมื่อมี uid, originalUid และ debugFeatureId เหมือนกัน หรือมี groupId เหมือนกัน การดีเบานซ์จะช่วยลดการเรียกกลับที่รวดเร็วเกินไปในระหว่างการสตรีมหรือการอนุมานแบบหลายขั้นตอน ซึ่งจะช่วยลดภาระงานของ binder และการบันทึกข้อมูลที่มากเกินไป
ระบบจะรายงานสถานะวงจรของ Callback ผ่าน 3 เมธอดใน ISchedulingCallback ดังนี้
onWorkRequested: บริการหรือไดรเวอร์ของผู้ให้บริการได้รับภาระงานแล้วonWorkStarted: การดำเนินการของฮาร์ดแวร์เริ่มต้นขึ้น โดยติดแท็กด้วยStartReason:StartReason.INITIAL: การดำเนินการเริ่มต้นสำหรับคำขอแอปใหม่StartReason.RESUMED: การดำเนินการกลับมาทำงานอีกครั้งหลังจากหยุดชั่วคราว (PAUSED)
onWorkEnded: การดำเนินการของฮาร์ดแวร์จะหยุดลงหลังจากผ่านไปDEBOUNCE_DURATION_MSโดยไม่มีงานติดตามผลที่เกี่ยวข้อง ซึ่งติดแท็กด้วยEndReason:EndReason.COMPLETED: การดำเนินการเสร็จสมบูรณ์ตามปกติEndReason.CANCELLED_USER: แอปที่เรียกใช้ยกเลิกการดำเนินการEndReason.CANCELLED_SYSTEM: การดำเนินการถูกขัดจังหวะและยกเลิกโดยงานที่มีลำดับความสำคัญสูงกว่าEndReason.PAUSED: การดำเนินการหยุดชั่วคราวเพื่อเรียกใช้งานที่มีลำดับความสำคัญสูงกว่า และมีสิทธิ์กลับมาทำงานต่อด้วยStartReason.RESUMEDEndReason.FAILED: ดำเนินการไม่สำเร็จเนื่องจากข้อผิดพลาดของไดรเวอร์หรือฮาร์ดแวร์
การตรวจสอบ
ตรวจสอบการใช้งานการจัดกำหนดการ NPU ด้วยชุดโปรแกรมทดสอบต่อไปนี้
- ชุดโปรแกรมทดสอบของผู้ให้บริการ (VTS): เรียกใช้
VtsHalNpuSchedulingTargetTest(รวมอยู่ในVtsHalNpuTargetTest) เพื่อยืนยันการอัปเดตการกำหนดค่าIScheduling, การจัดลำดับความสำคัญที่มีผล, กฎการระบุแหล่งที่มาของ UID และการดีเบานซ์ของISchedulingCallback - ชุดเครื่องมือทดสอบความเข้ากันได้ (CTS): เรียกใช้
CtsNpuManagerMoblyTestCasesเพื่อยืนยันการจัดลำดับความสำคัญของภาระงาน NPU แบบครบวงจรระหว่างเบื้องหน้ากับเบื้องหลัง ดูวิธีการตั้งค่าการทดสอบได้ที่เรียกใช้การทดสอบ Mobly ของ NPU Manager