Android 17 ও এর পরবর্তী ভার্সনে, Neural Processing Unit
(NPU) ম্যানেজার অ্যাপ ও সিস্টেম পরিষেবা জুড়ে মডেল অ্যাডমিশন কন্ট্রোল ও ওয়ার্কলোড প্রায়োরিটি
সমন্বয় করে। ব্যাকগ্রাউন্ডে চলা কাজকে লেটেন্সি-সেনসিটিভ ফোরগ্রাউন্ড টাস্কের
সম্পদ ব্যবহার করতে দেওয়ার পরিবর্তে, npu সিস্টেম পরিষেবা ActivityManager থেকে অ্যাপের
লাইফসাইকেল স্ট্যাটাস ট্র্যাক করে এবং android.hardware.npu Android ইন্টারফেস
ডেফিনিশন ল্যাঙ্গুয়েজ (AIDL) হার্ডওয়্যার অ্যাবস্ট্রাকশন লেয়ার (HAL)-এর মাধ্যমে
ভেন্ডর NPU ড্রাইভারকে কার্যকর শিডিউলিং নিয়ম রিলে করে।
মডেল লোড আর্বিট্রেশনের জন্য ফ্রেমওয়ার্ক API
লো-লেভেল নিউরাল নেটওয়ার্ক লাইব্রেরিতে কল করা বা বড় মডেল ফাইল লোড করার আগে,
ফ্রেমওয়ার্ক ক্লায়েন্ট মডেলের ক্ষমতা রিজার্ভ করার জন্য android.npumanager.NpuManager-এর সাথে
ইন্টার্যাক্ট করে। NpuManager হল একটি সিস্টেম API (@SystemApi), কোনও পাবলিক অ্যাপ SDK API নয়,
এবং কলকারীদের কাছে অবশ্যই android.permission.ACCESS_NPU_MODEL_MANAGER_API
অনুমতি থাকতে হবে। ক্লায়েন্ট প্রথমে মডেল লোড করার অনুরোধ তৈরি করেন এবং তারপর
অ্যাসিঙ্ক্রোনাস অনুরোধ ও অনুমোদনের ফ্লো রান করেন।
মডেল লোড করার অনুরোধ তৈরি করুন
মডেল লোড রিজার্ভেশন ModelLoadRequest দ্বারা দেখানো হয়। এই অবজেক্টে
নিম্নলিখিত প্যারামিটার থাকে:
- অনন্য অনুরোধ শনাক্তকারী
- আনুমানিক মডেল সাইজ ক্লাস:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB, অথবাNPU_MODEL_SIZE_GREATER_THAN_2G - উদ্দিষ্ট ওয়ার্কলোড প্রায়োরিটি, যেমন
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALবাNPU_MODEL_PRIORITY_OPPORTUNISTIC
নিম্নলিখিত Java উদাহরণটি ২ জিবি-র থেকে বড় মডেলের জন্য
ModelLoadRequest তৈরি করে, যার এক্সিকিউশন প্রায়োরিটি সাধারণ:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
অনুরোধ ও অনুমোদনের ফ্লো এক্সিকিউট করুন
ক্লায়েন্টরা requestCanLoadModel
পদ্ধতি ব্যবহার করে অ্যাসিঙ্ক্রোনাসভাবে রিজার্ভেশন জমা দেয়:
npuManager.requestCanLoadModel(request, callback, executor);
NPU-এর ক্ষমতা মূল্যায়ন করা হলে বা সিস্টেমের প্রেসার পরিবর্তন হলে, ফ্রেমওয়ার্ক
ModelLoadRequestCallback-এর মাধ্যমে ক্লায়েন্টকে নিম্নলিখিত
ইভেন্ট সম্পর্কে বিজ্ঞপ্তি পাঠায়:
onCanLoadModel(request, status, listener): অনুরোধ অনুমোদন করা হলে ফায়ার করা হয়। ক্লায়েন্ট একটিNpuManager.ModelLoadStatusListenerটোকেন পায়। NPU মেমরিতে মডেল লোড করার পরে, ক্লায়েন্টকে অবশ্যইlistener.notifyModelLoaded(request)কল করতে হবে।onRequestUnloadModel(request)বাonRequestUnloadModel(request, reason): সিস্টেম রিসোর্স সংক্রান্ত সমস্যার সম্মুখীন হলে, যেমন ইনকামিং ফোরগ্রাউন্ড ওয়ার্কলোড বা থার্মাল স্পাইক, এবং ক্লায়েন্টকে তার মডেল রিলিজ করতে হলে ফায়ার করা হয়। NPU রিসোর্স রিলিজ করার পরে, ক্লায়েন্টকে অবশ্যইlistener.notifyModelUnloaded(request)কল করতে হবে।onModelLoadRequestComplete(request, status): টার্মিনাল অনুরোধের লাইফসাইকেল ট্রানজিশন, যেমন বাতিলকরণ সম্পর্কে ক্লায়েন্টকে বিজ্ঞপ্তি পাঠায়।
ক্লায়েন্টরা যেকোনও সময় cancelModelLoad(request) নম্বরে কল করে
মুলতুবি থাকা অনুরোধ বাতিল করতে পারবেন।
শিডিউলিং HAL ইন্টিগ্রেশন
ডিভাইস-নির্দিষ্ট ভেন্ডর ইমপ্লিমেন্টেশন, android.hardware.npu প্যাকেজে IScheduling.aidl সার্ভিস ইন্টারফেস ইমপ্লিমেন্ট করার মাধ্যমে প্ল্যাটফর্ম শিডিউলারের সাথে ইন্টিগ্রেট করে।
UID প্রায়োরিটি ও অ্যাক্সেস কন্ট্রোল কনফিগার করা
npu সিস্টেম পরিষেবা setSchedulingConfigs ও updateSchedulingConfigs ব্যবহার করে ভেন্ডর HAL-এ UID-প্রতি অগ্রাধিকার ভ্যালু ও অ্যাক্সেস সংক্রান্ত নিয়ম পুশ করে,
SchedulingConfig.aidl পার্সেলযোগ্য সহ:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
SchedulingConfig-এর প্রতিটি ফিল্ড নিয়ন্ত্রণ করে যে কীভাবে ভেন্ডর NPU ড্রাইভার
ইউজার আইডেন্টিফায়ার (UID) দ্বারা জমা দেওয়া কাজকে আর্বিট্রেট করে:
| ফিল্ড বা কনস্ট্যান্ট | বর্ণনা |
|---|---|
MIN_PRIORITY ও MAX_PRIORITY |
সঠিক অগ্রাধিকারের সীমা (0 থেকে 1000), যেখানে
MIN_PRIORITY (0) সর্বোচ্চ
শিডিউলিং অগ্রাধিকার এবং MAX_PRIORITY (1000)
সর্বনিম্ন শিডিউলিং অগ্রাধিকার দেখায়।
|
uid |
ক্লায়েন্ট অ্যাপ বা সিস্টেম পরিষেবার Linux UID। |
priority |
প্ল্যাটফর্মের গুরুত্বের স্কোর 0 থেকে
1000-এর মধ্যে, যেখানে 0 হল সর্বোচ্চ অগ্রাধিকার। ActivityManager প্রসেস স্টেট থেকে
প্রাপ্ত, তাই ফোরগ্রাউন্ড অ্যাপ
ক্যাশে করা বা ব্যাকগ্রাউন্ড প্রসেসের থেকে বেশি গুরুত্বপূর্ণ।
|
hasDirectAccess |
uid-কে সরাসরি NPU এক্সিকিউশন সেশন খোলার অনুমতি দেওয়া হয়েছে কিনা। false হলে, সরাসরি সেশন তৈরি করা বা
EX_SECURITY-এর সাথে এক্সিকিউশন ব্যর্থ হয়।
|
canAttributeOtherUid |
AICore-এর মতো কোনও বিশেষাধিকার প্রাপ্ত মধ্যস্থতাকারী পরিষেবা,
কলিং ক্লায়েন্টের জন্য NPU কাজ এবং পাওয়ার ব্যবহার অ্যাট্রিবিউট করার জন্য অনুমোদিত কিনা
originalUid।
|
ভেন্ডর NPU শিডিউলারকে অবশ্যই 0 থেকে
2000 (যেখানে 0 হল সর্বোচ্চ অগ্রাধিকার) রেঞ্জের মধ্যে একটি কার্যকর অগ্রাধিকার গণনা করতে হবে, ক্লায়েন্ট-অনুরোধ করা কাজের অগ্রাধিকারের সাথে SchedulingConfig.priority
(0 থেকে 1000) যোগ করে, যা 0 থেকে
1000-এ স্বাভাবিক করা হয়েছে এবং সেই কার্যকর অগ্রাধিকার অনুযায়ী হার্ডওয়্যার এক্সিকিউশন কিউ শিডিউল করতে হবে। যেমন, কোনও ব্যাকগ্রাউন্ড অ্যাপ যদি উচ্চ-অগ্রাধিকারের কাজ জমা দেয়, তাহলে এর
উচ্চতর priority স্কোর এর কার্যকর অগ্রাধিকার কমিয়ে দেয় (একটি উচ্চতর
সাংখ্যিক মান তৈরি করে) যাতে এটি ফোরগ্রাউন্ড ক্যামেরা বা UI ওয়ার্কলোডে বিলম্ব না করে।
টাস্কের স্ট্যাটাস ও অ্যাট্রিবিউশন রিপোর্ট করা
WorkInfo.aidl ব্যবহার করে ভেন্ডর ড্রাইভাররা প্ল্যাটফর্মে NPU এক্সিকিউশন গ্রুপের লাইফসাইকেল রিপোর্ট করে:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
যখন canAttributeOtherUid চালু থাকা কোনও মধ্যস্থতাকারী পরিষেবা ক্লায়েন্ট অ্যাপের হয়ে
মডেল এক্সিকিউট করে, তখন originalUid-এ সোর্স অ্যাপ UID থাকে
এবং uid-এ জমা দেওয়া পরিষেবার পরিচয় থাকে। এই বিভাজনের ফলে প্ল্যাটফর্ম টেলিমেট্রি ও পাওয়ার অ্যাকাউন্টিং, মধ্যবর্তী ডেমনকে বিল না করে, অনুরোধকারী অ্যাপকে বিল করতে পারে।
ইভেন্ট ডিবাউন্সিং কনফিগার করুন
IScheduling.setCallback-এর সাথে ISchedulingCallback লিসেনার রেজিস্টার করা হলে,
HAL কমপক্ষে ISchedulingCallback.DEBOUNCE_DURATION_MS (৫০ মি.সে.) জুড়ে
সম্পর্কিত কাজের বিজ্ঞপ্তি ডিবাউন্স করে। অফিসের আইটেমগুলি
একই uid, originalUid এবং
debugFeatureId, অথবা একই groupId শেয়ার করলে, সেগুলি সম্পর্কিত বলে বিবেচনা করা হয়। ডিবাউন্সিং স্ট্রিমিং বা মাল্টি-স্টেপ ইনফারেন্স রান চলাকালীন দ্রুত কলব্যাক স্টর্মকে দমন করে, বাইন্ডার ওভারহেড এবং লগ ফ্লাডিং কমায়।
কলব্যাক লাইফসাইকেল স্ট্যাটাস ISchedulingCallback-এ তিনটি পদ্ধতির মাধ্যমে রিপোর্ট করা হয়:
onWorkRequested: ভেন্ডর পরিষেবা বা ড্রাইভার ওয়ার্কলোড পেয়েছে।onWorkStarted: হার্ডওয়্যার এক্সিকিউশন শুরু হয়েছে,StartReasonদিয়ে ট্যাগ করা হয়েছে:StartReason.INITIAL: নতুন অ্যাপের অনুরোধের জন্য প্রাথমিক এক্সিকিউশন রান।StartReason.RESUMED: পজ করার পরে এক্সিকিউশন আবার শুরু করা হয়েছে (PAUSED)।
onWorkEnded:DEBOUNCE_DURATION_MSঅতিক্রান্ত হওয়ার পরে হার্ডওয়্যার এক্সিকিউশন বন্ধ হয়ে যায়, কোনও ফলো-আপ কাজ থাকে না,EndReasonদিয়ে ট্যাগ করা থাকে:EndReason.COMPLETED: এক্সিকিউশন স্বাভাবিকভাবে সম্পূর্ণ হয়েছে।EndReason.CANCELLED_USER: কলিং অ্যাপের মাধ্যমে এক্সিকিউশন বাতিল করা হয়েছে।EndReason.CANCELLED_SYSTEM: বেশি-অগ্রাধিকারের কাজের জন্য এক্সিকিউশন প্রি-এমপ্ট ও বাতিল করা হয়েছে।EndReason.PAUSED: বেশি অগ্রাধিকারের কাজ চালানোর জন্য এক্সিকিউশন সাময়িকভাবে পজ করা হয়েছে এবংStartReason.RESUMED-এর সাথে আবার শুরু করার জন্য উপযুক্ত।EndReason.FAILED: ড্রাইভার বা হার্ডওয়্যার সংক্রান্ত সমস্যার কারণে এক্সিকিউট করা যায়নি।
যাচাইকরণ
নিম্নলিখিত টেস্ট স্যুটের মাধ্যমে NPU শিডিউলিং ইমপ্লিমেন্টেশন যাচাই করুন:
- ভেন্ডর টেস্ট স্যুট (VTS):
ISchedulingকনফিগারেশন আপডেট, কার্যকরী অগ্রাধিকার ক্রম, UID অ্যাট্রিবিউশন নিয়ম এবংISchedulingCallbackডিবাউন্সিং যাচাই করতেVtsHalNpuSchedulingTargetTest(VtsHalNpuTargetTest-এ প্যাকেজ করা) রান করুন। - কম্প্যাটিবিলিটি টেস্ট স্যুট (CTS): এন্ড-টু-এন্ড ফোরগ্রাউন্ড বনাম ব্যাকগ্রাউন্ড NPU ওয়ার্কলোড প্রায়োরিটাইজেশন যাচাই করতে
CtsNpuManagerMoblyTestCasesরান করুন। টেস্ট সেট-আপ সংক্রান্ত নির্দেশাবলীর জন্য, NPU Manager Mobly টেস্ট রান করুন বিকল্প দেখুন।