תזמון עומסי עבודה

ב-Android מגרסה 17 ואילך, מנהל יחידת העיבוד הנוירומורפי (NPU) מתאם את בקרת הגישה למודלים ואת העדיפות של עומסי העבודה באפליקציות ובשירותי המערכת. במקום לאפשר למשימות ברקע להפריע למשימות בחזית שרגישות לזמן האחזור, שירות המערכת npu עוקב אחרי מצבי מחזור החיים של האפליקציה מ-ActivityManager ומעביר כללי תזמון יעילים למנהל ההתקן של ה-NPU של הספק דרך שכבת הפשטת החומרה (HAL) של שפת ההגדרה לבניית ממשק Android‏ (AIDL) של android.hardware.npu.

ממשק API של Framework לבוררות בטעינת מודלים

לפני קריאה לספריות של רשתות נוירונים ברמה נמוכה או טעינה של קובצי מודלים גדולים, לקוחות של מסגרות יוצרים אינטראקציה עם android.npumanager.NpuManager כדי להקצות קיבולת למודל. ‫NpuManager הוא API של המערכת (@SystemApi), ולא API של SDK של אפליקציה ציבורית, והמתקשרים חייבים להחזיק בהרשאה android.permission.ACCESS_NPU_MODEL_MANAGER_API. הלקוחות קודם יוצרים בקשה לטעינת מודל, ואז מריצים את הבקשה האסינכרונית ואת תהליך האישור.

יצירת בקשה לטעינת מודל

הזמנת טעינה של מודל מיוצגת על ידי ModelLoadRequest. האובייקט הזה מכיל את הפרמטרים הבאים:

  • מזהה בקשה ייחודי
  • סיווג גודל המודל המשוער: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB או NPU_MODEL_SIZE_GREATER_THAN_2G
  • עדיפות עומס העבודה המיועד, למשל NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL או NPU_MODEL_PRIORITY_OPPORTUNISTIC

בדוגמה הבאה ב-Java, נוצר ModelLoadRequest למודל שגדול מ-2GB עם עדיפות ביצוע רגילה:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

ביצוע תהליך הבקשה והאישור

הלקוחות שולחים את ההזמנה באופן אסינכרוני באמצעות ה-method‏ requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

כשהמערכת מעריכה את הקיבולת של ה-NPU או כשהעומס על המערכת משתנה, ה-framework שולח ללקוח התראה דרך ModelLoadRequestCallback עם האירועים הבאים:

  • ‫onCanLoadModel(request, status, listener): מופעל כשהבקשה מאושרת. הלקוח מקבל אסימון NpuManager.ModelLoadStatusListener. אחרי טעינת המודל לזיכרון של ה-NPU, הלקוח צריך להפעיל את listener.notifyModelLoaded(request).
  • ‫onRequestUnloadModel(request) או onRequestUnloadModel(request, reason): מופעל כשהמערכת נתקלת בתחרות על משאבים, כמו עומס עבודה נכנס בחזית או עלייה חדה בטמפרטורה, ודורשת מהלקוח לשחרר את המודל שלו. אחרי שחרור משאבי ה-NPU, הלקוח צריך לקרוא ל-listener.notifyModelUnloaded(request).
  • ‫onModelLoadRequestComplete(request, status): הודעה ללקוח על מעברים במחזור החיים של בקשות מסוף, כמו ביטול.

הלקוחות יכולים לבטל בקשות בהמתנה בכל שלב באמצעות שיחה אל cancelModelLoad(request).

שילוב של HAL לתזמון

הטמעות של ספקים ספציפיים למכשיר משתלבות עם מתזמן הפלטפורמה על ידי הטמעת ממשק השירות IScheduling.aidl בחבילה android.hardware.npu.

הגדרת עדיפויות של UID ובקרת גישה

שירות המערכת npu מעביר ערכי עדיפות וכללי גישה לכל מזהה UID אל שכבת ה-HAL של הספק באמצעות setSchedulingConfigs ו-updateSchedulingConfigs עם ה-parcelable‏ SchedulingConfig.aidl:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

כל שדה ב-SchedulingConfig קובע איך מנהל ההתקן של ה-NPU של הספק מנהל את העבודה שנשלחת על ידי מזהה משתמש (UID):

שדה או קבוע תיאור
MIN_PRIORITY וגם MAX_PRIORITY גבולות עדיפות חוקיים (0 עד 1000), כאשר MIN_PRIORITY (0) מייצג את העדיפות הגבוהה ביותר לתזמון ו-MAX_PRIORITY (1000) מייצג את העדיפות הנמוכה ביותר לתזמון.
uid ‫UID של Linux של אפליקציית הלקוח או שירות המערכת.
priority ציון חשיבות הפלטפורמה בטווח שבין 0 ל-1000, כאשר 0 הוא העדיפות הגבוהה ביותר. הערך נגזר ממצב התהליך של ActivityManager, כך שאפליקציות שפועלות בחזית מקבלות עדיפות על פני תהליכים שפועלים ברקע או במטמון.
hasDirectAccess אם ל-uid מותר לפתוח סשנים של הפעלה ישירה של NPU. אם false, יצירה או הפעלה ישירה של סשן נכשלת עם EX_SECURITY.
canAttributeOtherUid אם שירות ביניים עם הרשאות, כמו AICore, מורשה לשייך את העבודה וצריכת החשמל של ה-NPU ללקוח שמבצע את הקריאה החוזרת originalUid.

מתזמני ה-NPU של הספק צריכים לחשב עדיפות אפקטיבית בטווח שבין 0 ל-2000 (כאשר 0 היא העדיפות הגבוהה ביותר) על ידי הוספת SchedulingConfig.priority (0 עד 1000) לעדיפות המשימה שהלקוח ביקש, שעברה נרמול לטווח שבין 0 ל-1000, ולתזמן תורים לביצוע בחומרה בהתאם לעדיפות האפקטיבית הזו. לדוגמה, אם אפליקציה שפועלת ברקע שולחת משימה בעדיפות גבוהה, הציון הגבוה יותר של priority מוריד את העדיפות בפועל (ומפיק ערך מספרי גבוה יותר) כדי שהיא לא תעכב את עומסי העבודה של המצלמה או של ממשק המשתמש בחזית.

דיווח על סטטוס המשימה והשיוך (Attribution)

מנהלי ההתקנים של הספק מדווחים לפלטפורמה על מחזור החיים של קבוצות הביצוע של ה-NPU באמצעות WorkInfo.aidl:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

כששירות ביניים שמופעלת בו ההרשאה canAttributeOtherUid מפעיל מודל בשם אפליקציית לקוח, השדה originalUid מכיל את מזהה המשתמש של האפליקציה המקורית, והשדה uid מזהה את השירות ששלח את הבקשה. ההפרדה הזו מאפשרת לטלמטריה של הפלטפורמה ולחישוב צריכת החשמל לחייב את האפליקציה המבקשת על העבודה, במקום את ה-daemon המתווך.

הגדרת סינון אירועים כפולים

כשמאזין ISchedulingCallback רשום ב-IScheduling.setCallback, ה-HAL מבטל את ההקפצה של התראות עבודה קשורות למשך ISchedulingCallback.DEBOUNCE_DURATION_MS (50 אלפיות השנייה) לפחות. פריטי עבודה נחשבים קשורים כשהם חולקים את אותם uid, originalUid ו-debugFeatureId, או את אותו groupId. התכונה הזו מונעת עומס של קריאות חוזרות (callbacks) במהלך סטרימינג או הסקות בכמה שלבים, וכך מפחיתה את העומס על Binder ואת ההצפה של היומנים.

מצבי מחזור החיים של הקריאה החוזרת מדווחים באמצעות שלוש שיטות ב-ISchedulingCallback:

  • ‫onWorkRequested: עומס העבודה מתקבל על ידי השירות או הדרייבר של הספק.
  • ‫onWorkStarted: מתחיל ביצוע החומרה, עם התג StartReason:
    • ‫StartReason.INITIAL: הרצה ראשונית של בקשה לאפליקציה חדשה.
    • StartReason.RESUMED: הביצוע חודש אחרי שהושהה (PAUSED).
  • ‫onWorkEnded: ביצוע החומרה נפסק אחרי שחלפו DEBOUNCE_DURATION_MS בלי עבודת המשך קשורה, ומתויג עם EndReason:
    • ‫EndReason.COMPLETED: ההרצה הושלמה באופן תקין.
    • ‫EndReason.CANCELLED_USER: הביצוע בוטל על ידי האפליקציה ששלחה את הקריאה.
    • ‫EndReason.CANCELLED_SYSTEM: ההפעלה הופסקה ובוטלה על ידי עבודה בעדיפות גבוהה יותר.
    • ‫EndReason.PAUSED: הביצוע הושהה באופן זמני כדי להריץ עבודה בעדיפות גבוהה יותר, ואפשר להמשיך אותו באמצעות StartReason.RESUMED.
    • ‫EndReason.FAILED: ההפעלה נכשלה בגלל שגיאה בדרייבר או בחומרה.

אימות

כדי לאמת את ההטמעות של תזמון ה-NPU, משתמשים בחבילות המקרים לבדיקה הבאות:

  • חבילת מקרים לבדיקה של ספקים (VTS): מריצים את VtsHalNpuSchedulingTargetTest (שנארז ב-VtsHalNpuTargetTest) כדי לאמת את עדכוני ההגדרות של IScheduling, את סדר העדיפויות בפועל, את כללי השיוך של מזהי UID ואת ביטול הכפילויות של ISchedulingCallback.
  • ‫Compatibility Test Suite (CTS): מריצים את CtsNpuManagerMoblyTestCases כדי לאמת את התעדוף של עומס העבודה ב-NPU מקצה לקצה בחזית לעומת ברקע. הוראות להגדרת הבדיקה מפורטות במאמר הרצת בדיקות Mobly של NPU Manager.