服務品質

自 Android 11 起，NNAPI 可讓應用程式指示模型的相對優先順序、準備指定模型的預計最長時間，以及完成指定執行作業的預計最長時間，從而改善服務品質 (QoS)。此外，Android 11 還推出了額外的 NNAPI 錯誤值，讓服務能夠更準確地指出發生錯誤時的問題所在，以便用戶端應用程式做出更佳的回應及復原。

優先順序

在 Android 11 以上版本中，模型會以 NN HAL 1.3 的優先順序準備。這個優先順序與同一個應用程式擁有的其他已準備模型相關。優先順序較高的執行作業可使用比優先順序較低的執行作業更多的運算資源，且可搶先或剝奪優先順序較低的執行作業。

包含 Priority 做為明確引數的 NN HAL 1.3 呼叫為 IDevice::prepareModel_1_3。請注意，IDevice::prepareModelFromCache_1_3 會在快取引數中隱含地加入 Priority。

您可以採用多種策略來支援優先順序，具體取決於驅動程式和加速器的功能。以下提供幾種策略：

  • 對於內建優先順序支援的驅動程式，請直接將 Priority 欄位傳播至加速器。
  • 使用個別應用程式優先順序佇列，即使在執行作業到達加速器之前，也能支援不同的優先順序。

  • 暫停或取消正在執行的低優先順序模型，釋出加速器執行高優先順序模型。方法是將檢查點插入低優先順序模型中，當檢查點到達時，查詢標記，以判斷是否應提前終止目前的執行作業；或者將模型分割為子模型，並在子模型執行作業之間查詢標記。請注意，在以優先順序準備的模型中使用檢查點或子模型，可能會產生額外的額外負擔，而這在 NN HAL 1.3 以下版本中，並不會出現在沒有優先順序的模型中。

    • 如要支援預取，請保留執行內容，包括要執行的下一個運算或子模型，以及任何相關的中繼運算資料。使用這個執行作業結構定義，稍後再繼續執行。
    • 不需要完整的預取支援功能，因此執行作業的內容不需要保留。由於 NNAPI 模型執行作業是確定性的，因此執行作業可在稍後從頭開始。

Android 可讓服務透過使用 AID (Android UID) 區分不同的呼叫應用程式。HIDL 內建機制可透過 ::android::hardware::IPCThreadState::getCallingUid 方法擷取呼叫應用程式的 UID。您可以在 libcutils/include/cutils/android_filesystem_config.h 中找到 AID 清單。

截止日期

從 Android 11 開始，您可以使用 OptionalTimePoint 期限引數啟動模型準備和執行作業。對於可預估任務所需時間的驅動程式，如果驅動程式預估任務無法在期限前完成，則可透過這個期限在任務開始前終止任務。同樣地，驅動程式可利用期限，中斷預估不會在期限前完成的進行中任務。如果工作未在期限前完成，或是期限已過，期限引數不會強制驅動程式中止工作。您可以使用 deadline 引數來釋放驅動程式中的運算資源，並比沒有 deadline 時更快地將控制權交還給應用程式。

以下是包含 OptionalTimePoint 期限做為引數的 NN HAL 1.3 呼叫：

  • IDevice::prepareModel_1_3
  • IDevice::prepareModelFromCache_1_3
  • IPreparedModel::execute_1_3
  • IPreparedModel::executeSynchronously_1_3
  • IPreparedModel::executeFenced

如要查看上述各個方法的截止日期功能參考實作項目，請參閱 frameworks/ml/nn/driver/sample/SampleDriver.cpp 中的 NNAPI 範例驅動程式。

錯誤代碼

Android 11 在 NN HAL 1.3 中加入四個錯誤代碼值，以改善錯誤回報功能，讓驅動程式能更妥善地傳達其狀態，並讓應用程式更順利地復原。這些是 ErrorStatus 中的錯誤代碼值。

  • MISSED_DEADLINE_TRANSIENT
  • MISSED_DEADLINE_PERSISTENT
  • RESOURCE_EXHAUSTED_TRANSIENT
  • RESOURCE_EXHAUSTED_PERSISTENT

在 Android 10 以下版本中，驅動程式只能透過 GENERAL_FAILURE 錯誤代碼指出失敗。自 Android 11 起，兩個 MISSED_DEADLINE 錯誤代碼可用來指出工作負載已因達到期限而中止，或是因為驅動程式預測工作負載不會在期限前完成。這兩個 RESOURCE_EXHAUSTED 錯誤代碼可用來指出驅動程式中的資源限制導致工作失敗，例如驅動程式沒有足夠的記憶體可用於呼叫。

兩個錯誤的 TRANSIENT 版本都表示問題是暫時性的，且日後對同一個工作呼叫的回應可能會在短暫延遲後成功。舉例來說，如果驅動程式忙於處理先前的長期執行或資源密集型工作，就應傳回這個錯誤代碼，但如果驅動程式沒有忙於處理先前的作業，新工作就會順利完成。這兩種錯誤的 PERSISTENT 版本都表示，日後對相同工作呼叫一律會失敗。舉例來說，如果驅動程式預估任務即使在完美條件下也不會在期限前完成，或是模型本身過大而超出驅動程式的資源，就應傳回這個錯誤代碼。

驗證

服務品質功能會在 NNAPI VTS 測試 (VtsHalNeuralnetworksV1_3Target) 中進行測試。這包括一組驗證測試 (TestGenerated/ValidationTest#Test/)，可確保驅動程式拒絕無效的優先順序，以及一組名為 DeadlineTest 的測試 (TestGenerated/DeadlineTest#Test/)，可確保驅動程式正確處理截止期限。