वर्कलोड शेड्यूल करना

Android 17 और इसके बाद के वर्शन में, न्यूरल प्रोसेसिंग यूनिट (एनपीयू) मैनेजर, ऐप्लिकेशन और सिस्टम की सेवाओं के बीच मॉडल के ऐक्सेस कंट्रोल और वर्कलोड की प्राथमिकता को मैनेज करता है. बैकग्राउंड में चल रहे टास्क, फ़ोरग्राउंड में चल रहे ऐसे टास्क को पूरा होने से रोक सकते हैं जो इंतज़ार के समय के हिसाब से संवेदनशील होते हैं. ऐसा होने से रोकने के लिए, npu सिस्टम सर्विस, ActivityManager से ऐप्लिकेशन की लाइफ़साइकल की स्थितियों को ट्रैक करती है. साथ ही, android.hardware.npu Android इंटरफ़ेस डेफ़िनिशन लैंग्वेज (एआईडीएल) हार्डवेयर ऐब्स्ट्रैक्शन लेयर (एचएएल) के ज़रिए, वेंडर के एनपीयू ड्राइवर को शेड्यूलिंग के असरदार नियम भेजती है.

मॉडल लोड करने की प्रोसेस को मैनेज करने के लिए फ़्रेमवर्क एपीआई

लो-लेवल न्यूरल नेटवर्क लाइब्रेरी को कॉल करने या बड़ी मॉडल फ़ाइलों को लोड करने से पहले, फ़्रेमवर्क क्लाइंट, मॉडल की क्षमता को रिज़र्व करने के लिए android.npumanager.NpuManager से इंटरैक्ट करते हैं. NpuManager एक सिस्टम एपीआई (@SystemApi) है, न कि सार्वजनिक ऐप्लिकेशन एसडीके एपीआई. साथ ही, कॉलर के पास android.permission.ACCESS_NPU_MODEL_MANAGER_API की अनुमति होनी चाहिए. क्लाइंट सबसे पहले मॉडल लोड करने का अनुरोध बनाते हैं. इसके बाद, एसिंक्रोनस रिक्वेस्ट और अनुमति का फ़्लो चलाते हैं.

मॉडल लोड करने का अनुरोध बनाना

मॉडल लोड रिज़र्वेशन को ModelLoadRequest से दिखाया जाता है. इस ऑब्जेक्ट में ये पैरामीटर शामिल होते हैं:

  • यूनीक अनुरोध आइडेंटिफ़ायर
  • मॉडल के साइज़ की अनुमानित क्लास: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB या NPU_MODEL_SIZE_GREATER_THAN_2G
  • वर्कलोड की प्राथमिकता, जैसे कि NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL या NPU_MODEL_PRIORITY_OPPORTUNISTIC

यहां दिए गए Java उदाहरण में, 2 जीबी से बड़े मॉडल के लिए ModelLoadRequest को बनाया गया है. इसमें, सामान्य तरीके से लागू करने की प्राथमिकता दी गई है:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

अनुरोध और अनुमति का फ़्लो लागू करना

क्लाइंट, requestCanLoadModel तरीके का इस्तेमाल करके, एसिंक्रोनस तरीके से बुकिंग सबमिट करते हैं:

npuManager.requestCanLoadModel(request, callback, executor);

जब एनपीयू की क्षमता का आकलन किया जाता है या सिस्टम के प्रेशर में बदलाव होता है, तो फ़्रेमवर्क, ModelLoadRequestCallback के ज़रिए क्लाइंट को इन इवेंट की सूचना देता है:

  • onCanLoadModel(request, status, listener): अनुरोध स्वीकार होने पर ट्रिगर होता है. क्लाइंट को NpuManager.ModelLoadStatusListener टोकन मिलता है. मॉडल को एनपीयू मेमोरी में लोड करने के बाद, क्लाइंट को listener.notifyModelLoaded(request) को कॉल करना होगा.
  • onRequestUnloadModel(request) या onRequestUnloadModel(request, reason): यह तब ट्रिगर होता है, जब सिस्टम में संसाधनों की कमी होती है. जैसे, फ़ोरग्राउंड में कोई वर्कलोड आने पर या तापमान बढ़ने पर. ऐसे में, क्लाइंट को अपना मॉडल रिलीज़ करना पड़ता है. एनपीयू के संसाधनों को रिलीज़ करने के बाद, क्लाइंट को listener.notifyModelUnloaded(request) को कॉल करना होगा.
  • onModelLoadRequestComplete(request, status): क्लाइंट को टर्मिनल अनुरोध के लाइफ़साइकल ट्रांज़िशन की सूचना देता है. जैसे, रद्द करना.

क्लाइंट, cancelModelLoad(request) पर कॉल करके, मंज़ूरी बाकी होने की स्थिति वाले अनुरोधों को किसी भी समय रद्द कर सकते हैं.

शेड्यूलिंग एचएएल इंटिग्रेशन

डिवाइस के हिसाब से वेंडर के सेट किए गए सिस्टम, प्लैटफ़ॉर्म शेड्यूलर के साथ इंटिग्रेट होते हैं. इसके लिए, android.hardware.npu पैकेज में IScheduling.aidl सर्विस इंटरफ़ेस को लागू किया जाता है.

यूआईडी की प्राथमिकताएं और ऐक्सेस कंट्रोल कॉन्फ़िगर करना

npu सिस्टम सेवा, setSchedulingConfigs और updateSchedulingConfigs का इस्तेमाल करके, हर यूआईडी के लिए प्राथमिकता वैल्यू और ऐक्सेस के नियमों को वेंडर एचएएल पर भेजती है. इसके लिए, SchedulingConfig.aidl पार्सल किए जा सकने वाले ऑब्जेक्ट का इस्तेमाल किया जाता है:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

SchedulingConfig में मौजूद हर फ़ील्ड यह कंट्रोल करता है कि वेंडर एनपीयू ड्राइवर, यूज़र आइडेंटिफ़ायर (यूआईडी) से सबमिट किए गए काम को कैसे मैनेज करता है:

फ़ील्ड या कॉन्स्टेंट ब्यौरा
MIN_PRIORITY और MAX_PRIORITY प्राथमिकता की मान्य सीमाएं (0 से 1000), जहां MIN_PRIORITY (0) शेड्यूल करने की सबसे ज़्यादा प्राथमिकता को दिखाता है और MAX_PRIORITY (1000) शेड्यूल करने की सबसे कम प्राथमिकता को दिखाता है.
uid क्लाइंट ऐप्लिकेशन या सिस्टम सेवा का Linux यूआईडी.
priority प्लैटफ़ॉर्म की अहमियत का स्कोर 0 से 1000 के बीच होना चाहिए. इसमें 0 का मतलब है कि प्लैटफ़ॉर्म को सबसे ज़्यादा प्राथमिकता दी गई है. यह ActivityManager प्रोसेस स्टेट से लिया गया है, ताकि फ़ोरग्राउंड ऐप्लिकेशन, कैश मेमोरी में सेव की गई या बैकग्राउंड में चल रही प्रोसेस से बेहतर परफ़ॉर्म कर सकें.
hasDirectAccess uid को सीधे एनपीयू एक्ज़ीक्यूशन सेशन खोलने की अनुमति है या नहीं. अगर false है, तो डायरेक्ट सेशन बनाने या उसे लागू करने की प्रोसेस EX_SECURITY के साथ पूरी नहीं हो पाती.
canAttributeOtherUid क्या एआईसीोर जैसी किसी खास इंटरमीडियरी सर्विस को, कॉल करने वाले क्लाइंट originalUid के लिए एनपीयू के काम और बैटरी के इस्तेमाल को एट्रिब्यूट करने की अनुमति है.

वेंडर एनपीयू शेड्यूलर को 0 से 2000 (जहां 0 सबसे ज़्यादा प्राथमिकता है) की रेंज में, असरदार प्राथमिकता का हिसाब लगाना चाहिए. इसके लिए, क्लाइंट की ओर से अनुरोध की गई जॉब की प्राथमिकता में SchedulingConfig.priority (0 से 1000) जोड़ना होगा. यह प्राथमिकता, 0 से 1000 के बीच होनी चाहिए. साथ ही, हार्डवेयर एक्ज़ीक्यूशन सूची को उस असरदार प्राथमिकता के हिसाब से शेड्यूल करना चाहिए. उदाहरण के लिए, अगर बैकग्राउंड में चल रहा कोई ऐप्लिकेशन, ज़्यादा प्राथमिकता वाला कोई काम सबमिट करता है, तो उसका ज़्यादा priority स्कोर, उसकी प्राथमिकता को कम कर देता है. इससे ज़्यादा संख्या वाली वैल्यू जनरेट होती है, ताकि फ़ोरग्राउंड कैमरे या यूज़र इंटरफ़ेस (यूआई) के वर्कलोड में देरी न हो.

टास्क का स्टेटस और एट्रिब्यूशन रिपोर्ट करना

वेंडर ड्राइवर, WorkInfo.aidl का इस्तेमाल करके, एनपीयू एक्ज़ीक्यूशन ग्रुप के लाइफ़साइकल की जानकारी प्लैटफ़ॉर्म को वापस भेजते हैं:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

जब canAttributeOtherUid की सुविधा चालू होने पर, कोई इंटरमीडियरी सर्विस किसी क्लाइंट ऐप्लिकेशन की ओर से मॉडल को लागू करती है, तो originalUid में ओरिजनल ऐप्लिकेशन का यूआईडी होता है. वहीं, uid से मॉडल को लागू करने वाली सेवा की पहचान होती है. इस तरह से अलग करने पर, प्लैटफ़ॉर्म टेलीमेट्री और पावर अकाउंटिंग, इंटरमीडियरी डीमन के बजाय अनुरोध करने वाले ऐप्लिकेशन को बिल भेज सकते हैं.

इवेंट डीबाउंसिंग को कॉन्फ़िगर करना

जब ISchedulingCallback लिसनर को IScheduling.setCallback के साथ रजिस्टर किया जाता है, तब एचएएल कम से कम ISchedulingCallback.DEBOUNCE_DURATION_MS (50 मि॰से॰) तक, काम से जुड़ी सूचनाओं को डिबाउंस करता है. काम के आइटम तब मिलते-जुलते माने जाते हैं, जब वे एक ही uid, originalUid, और debugFeatureId या एक ही groupId शेयर करते हैं. डिबाउंसिंग की सुविधा, स्ट्रीमिंग या कई चरणों वाले अनुमान के दौरान तेज़ी से होने वाले कॉलबैक को रोकती है. इससे बाइंडर ओवरहेड और लॉग फ़्लडिंग कम होती है.

कॉलबैक लाइफ़साइकल की स्थितियों की जानकारी, ISchedulingCallback पर तीन तरीकों से दी जाती है:

  • onWorkRequested: वेंडर सेवा या ड्राइवर को वर्कलोड मिल गया है.
  • onWorkStarted: हार्डवेयर एक्ज़ीक्यूशन शुरू होता है. इसे StartReason के साथ टैग किया जाता है:
    • StartReason.INITIAL: नए ऐप्लिकेशन के अनुरोध के लिए, पहली बार कोड को एक्ज़ीक्यूट किया गया.
    • StartReason.RESUMED: रोके जाने के बाद, लागू करने की प्रोसेस फिर से शुरू की गई (PAUSED).
  • onWorkEnded: हार्डवेयर से जुड़े काम को पूरा करने की समयसीमा DEBOUNCE_DURATION_MS है. अगर इस समयसीमा के अंदर काम पूरा नहीं होता है, तो उसे रोक दिया जाता है. साथ ही, उसे EndReason के तौर पर टैग कर दिया जाता है:
    • EndReason.COMPLETED: एक्ज़ीक्यूशन सामान्य तरीके से पूरा हुआ.
    • EndReason.CANCELLED_USER: कॉलिंग ऐप्लिकेशन ने प्रोसेस रद्द कर दी.
    • EndReason.CANCELLED_SYSTEM: ज़्यादा ज़रूरी काम की वजह से, टास्क को रोक दिया गया और रद्द कर दिया गया.
    • EndReason.PAUSED: ज़्यादा प्राथमिकता वाले काम को पूरा करने के लिए, टास्क को कुछ समय के लिए रोक दिया गया है. इसे StartReason.RESUMED के साथ फिर से शुरू किया जा सकता है.
    • EndReason.FAILED: ड्राइवर या हार्डवेयर की गड़बड़ी की वजह से, कोड नहीं चलाया जा सका.

सत्यापन

इन टेस्ट सुइट की मदद से, एनपीयू शेड्यूलिंग के लागू होने की पुष्टि करें:

  • वेंडर टेस्ट सुइट (वीटीएस): IScheduling के कॉन्फ़िगरेशन अपडेट, प्राथमिकता के असरदार क्रम, यूआईडी एट्रिब्यूशन के नियमों, और ISchedulingCallback के डिबाउंस होने की पुष्टि करने के लिए, VtsHalNpuSchedulingTargetTest (VtsHalNpuTargetTest में पैकेज किया गया) चलाएं.
  • Compatibility Test Suite (CTS): CtsNpuManagerMoblyTestCases को चलाएं, ताकि यह पुष्टि की जा सके कि फ़ोरग्राउंड और बैकग्राउंड में एनपीयू वर्कलोड को प्राथमिकता देने की सुविधा सही तरीके से काम कर रही है या नहीं. टेस्ट सेटअप करने के निर्देशों के लिए, एनपीयू मैनेजर के Mobly टेस्ट चलाना लेख पढ़ें.