Google cam kết thúc đẩy công bằng chủng tộc cho Cộng đồng người da đen. Xem cách thực hiện.

Trang này được dịch bởi Cloud Translation API.

Thực thi hàng loạt và xếp hàng đợi tin nhắn nhanh chóng

Mạng nơron HAL 1.2 giới thiệu khái niệm thực thi chụp. Thực thi hàng loạt là một trình tự thực thi cùng một mô hình đã chuẩn bị, diễn ra liên tiếp nhanh chóng, chẳng hạn như các quá trình hoạt động trên khung của một máy ảnh thu thập dữ liệu hoặc các mẫu âm thanh liên tiếp. Đối tượng hàng loạt được dùng để kiểm soát một nhóm thực thi hàng loạt và duy trì tài nguyên giữa các lần thực thi, cho phép các quá trình thực thi có mức hao tổn thấp hơn. Đối tượng hàng loạt có 3 tính năng tối ưu hoá:

Một đối tượng hàng loạt được tạo trước một trình tự thực thi và được giải phóng khi trình tự kết thúc. Do đó, thời gian tồn tại của đối tượng hàng loạt sẽ gợi ý cho trình điều khiển về khoảng thời gian duy trì đối tượng ở trạng thái hiệu suất cao.
Đối tượng hàng loạt có thể bảo toàn tài nguyên giữa các lần thực thi. Ví dụ: trình điều khiển có thể ánh xạ một đối tượng bộ nhớ trong lần thực thi đầu tiên và lưu mục ánh xạ trong đối tượng hàng loạt vào bộ nhớ đệm để sử dụng lại trong các lần thực thi tiếp theo. Bất kỳ tài nguyên nào đã lưu vào bộ nhớ đệm đều có thể được giải phóng khi đối tượng hàng loạt bị huỷ bỏ hoặc khi môi trường thời gian chạy NNAPI thông báo cho đối tượng hàng loạt rằng tài nguyên không còn cần thiết nữa.
Đối tượng hàng loạt sử dụng hàng đợi tin nhắn nhanh (FMQ) để giao tiếp giữa các quy trình của ứng dụng và trình điều khiển. Điều này có thể làm giảm độ trễ vì FMQ bỏ qua HIDL và truyền dữ liệu trực tiếp sang một quy trình khác thông qua FIFO tròn nguyên tử trong bộ nhớ dùng chung. Quy trình người tiêu dùng biết cách đưa một mặt hàng vào hàng đợi và bắt đầu xử lý bằng cách thăm dò số lượng phần tử trong FIFO hoặc bằng cách chờ cờ sự kiện của FMQ (do nhà sản xuất báo hiệu). Cờ sự kiện này là một mutex không gian người dùng nhanh (futex).

FMQ là một cấu trúc dữ liệu cấp thấp không đảm bảo toàn thời gian trong các quy trình và không có cơ chế tích hợp để xác định xem quy trình ở đầu bên kia của FMQ có đang diễn ra như dự kiến hay không. Do đó, nếu nhà sản xuất cho FMQ qua đời, người tiêu dùng có thể sẽ phải chờ những dữ liệu không bao giờ đến. Một giải pháp cho vấn đề này là trình điều khiển liên kết FMQ với đối tượng hàng loạt cấp cao hơn để phát hiện thời điểm quá trình thực thi hàng loạt kết thúc.

Vì các quá trình thực thi hàng loạt hoạt động trên cùng một đối số và trả về cùng một kết quả như các đường dẫn thực thi khác, nên các FMQ cơ bản phải truyền cùng một dữ liệu đến và từ các trình điều khiển dịch vụ NNAPI. Tuy nhiên, FMQ chỉ có thể chuyển các kiểu dữ liệu cũ. Quá trình chuyển dữ liệu phức tạp được thực hiện bằng cách chuyển đổi tuần tự và giải tuần tự các vùng đệm lồng nhau (loại vectơ) trực tiếp trong FMQ và sử dụng đối tượng gọi lại HIDL để chuyển các xử lý nhóm bộ nhớ theo yêu cầu. Phía sản xuất của FMQ phải gửi từng yêu cầu hoặc thông báo kết quả đến người tiêu dùng bằng cách sử dụng MessageQueue::writeBlocking nếu hàng đợi đang chặn hoặc bằng cách sử dụng MessageQueue::write nếu hàng đợi không chặn.

Giao diện Burst

Các giao diện hàng loạt cho HAL mạng nơron có trong hardware/interfaces/neuralnetworks/1.2/ và được mô tả ở bên dưới. Để biết thêm thông tin về giao diện hàng loạt trong lớp NDK, hãy xem frameworks/ml/nn/runtime/include/NeuralNetworks.h.

type.hal

types.hal xác định loại dữ liệu được gửi qua FMQ.

FmqRequestDatum: Một phần tử đại diện chuyển đổi tuần tự của đối tượng Request thực thi và giá trị MeasureTiming, được gửi trong hàng đợi thông báo nhanh.
FmqResultDatum: Một phần tử biểu diễn chuyển đổi tuần tự các giá trị được trả về từ quá trình thực thi (ErrorStatus, OutputShapes và Timing), được trả về thông qua hàng đợi thông báo nhanh.

IBurstContext.hal

IBurstContext.hal xác định đối tượng giao diện HIDL hoạt động trong dịch vụ Mạng nơron.

IBurstContext: Đối tượng ngữ cảnh để quản lý tài nguyên của một loạt ảnh.

Hàm IBurstCallback.hal

IBurstCallback.hal xác định đối tượng giao diện HIDL cho lệnh gọi lại do thời gian chạy Neural Networks tạo và được dịch vụ Neural Networks dùng để truy xuất các đối tượng hidl_memory tương ứng với giá trị nhận dạng vị trí.

IBurstCallback: Đối tượng gọi lại mà dịch vụ sử dụng để truy xuất các đối tượng bộ nhớ.

IPreparedModel.hal

IPreparedModel.hal được mở rộng trong HAL 1.2 bằng phương thức tạo đối tượng IBurstContext từ mô hình đã chuẩn bị.

configureExecutionBurst: Định cấu hình một đối tượng hàng loạt dùng để thực thi nhiều suy luận trên một mô hình đã chuẩn bị liên tiếp nhanh chóng.

Hỗ trợ thực thi hàng loạt trong trình điều khiển

Cách đơn giản nhất để hỗ trợ các đối tượng hàng loạt trong dịch vụ NNAPIL NNAPI là sử dụng hàm số hiệu dụng hàng loạt ::android::nn::ExecutionBurstServer::create, có trong ExecutionBurstServer.h và được đóng gói trong thư viện tĩnh libneuralnetworks_common và libneuralnetworks_util. Hàm nhà máy này có 2 phương thức nạp chồng:

Một phương thức nạp chồng chấp nhận con trỏ trỏ đến đối tượng IPreparedModel. Hàm tiện ích này sử dụng phương thức executeSynchronously trong đối tượng IPreparedModel để thực thi mô hình.
Một phương thức nạp chồng chấp nhận đối tượng IBurstExecutorWithCache có thể tuỳ chỉnh. Đối tượng này có thể dùng để lưu các tài nguyên vào bộ nhớ đệm (chẳng hạn như ánh xạ hidl_memory) được lưu giữ qua nhiều lần thực thi.

Mỗi phương thức nạp chồng trả về một đối tượng IBurstContext (đại diện cho đối tượng hàng loạt) có chứa và quản lý luồng trình nghe riêng. Luồng này nhận các yêu cầu từ FMQ requestChannel, thực hiện dự đoán, sau đó trả về kết quả thông qua FMQ resultChannel. Luồng này và tất cả các tài nguyên khác có trong đối tượng IBurstContext sẽ tự động được giải phóng khi ứng dụng của gói mất tham chiếu đến IBurstContext.

Ngoài ra, bạn có thể tạo cách triển khai IBurstContext của riêng mình để hiểu cách gửi và nhận tin nhắn qua FMQ requestChannel và resultChannel được chuyển đến IPreparedModel::configureExecutionBurst.

Bạn có thể tìm thấy các hàm hiệu dụng của gói trong ExecutionBurstServer.h.

/**
 * Create automated context to manage FMQ-based executions.
 *
 * This function is intended to be used by a service to automatically:
 * 1) Receive data from a provided FMQ
 * 2) Execute a model with the given information
 * 3) Send the result to the created FMQ
 *
 * @param callback Callback used to retrieve memories corresponding to
 *     unrecognized slots.
 * @param requestChannel Input FMQ channel through which the client passes the
 *     request to the service.
 * @param resultChannel Output FMQ channel from which the client can retrieve
 *     the result of the execution.
 * @param executorWithCache Object which maintains a local cache of the
 *     memory pools and executes using the cached memory pools.
 * @result IBurstContext Handle to the burst context.
 */
static sp<ExecutionBurstServer> create(
        const sp<IBurstCallback>& callback, const FmqRequestDescriptor& requestChannel,
        const FmqResultDescriptor& resultChannel,
        std::shared_ptr<IBurstExecutorWithCache> executorWithCache);

/**
 * Create automated context to manage FMQ-based executions.
 *
 * This function is intended to be used by a service to automatically:
 * 1) Receive data from a provided FMQ
 * 2) Execute a model with the given information
 * 3) Send the result to the created FMQ
 *
 * @param callback Callback used to retrieve memories corresponding to
 *     unrecognized slots.
 * @param requestChannel Input FMQ channel through which the client passes the
 *     request to the service.
 * @param resultChannel Output FMQ channel from which the client can retrieve
 *     the result of the execution.
 * @param preparedModel PreparedModel that the burst object was created from.
 *     IPreparedModel::executeSynchronously will be used to perform the
 *     execution.
 * @result IBurstContext Handle to the burst context.
 */
  static sp<ExecutionBurstServer> create(const sp<IBurstCallback>& callback,
                                         const FmqRequestDescriptor& requestChannel,
                                         const FmqResultDescriptor& resultChannel,
                                         IPreparedModel* preparedModel);

Sau đây là cách triển khai tham chiếu cho giao diện chụp liên tục có trong trình điều khiển mẫu Mạng Neural tại frameworks/ml/nn/driver/sample/SampleDriver.cpp.

Return<void> SamplePreparedModel::configureExecutionBurst(
        const sp<V1_2::IBurstCallback>& callback,
        const MQDescriptorSync<V1_2::FmqRequestDatum>& requestChannel,
        const MQDescriptorSync<V1_2::FmqResultDatum>& resultChannel,
        configureExecutionBurst_cb cb) {
    NNTRACE_FULL(NNTRACE_LAYER_DRIVER, NNTRACE_PHASE_EXECUTION,
                 "SampleDriver::configureExecutionBurst");
    // Alternatively, the burst could be configured via:
    // const sp<V1_2::IBurstContext> burst =
    //         ExecutionBurstServer::create(callback, requestChannel,
    //                                      resultChannel, this);
    //
    // However, this alternative representation does not include a memory map
    // caching optimization, and adds overhead.
    const std::shared_ptr<BurstExecutorWithCache> executorWithCache =
            std::make_shared<BurstExecutorWithCache>(mModel, mDriver, mPoolInfos);
    const sp<V1_2::IBurstContext> burst = ExecutionBurstServer::create(
            callback, requestChannel, resultChannel, executorWithCache);
    if (burst == nullptr) {
        cb(ErrorStatus::GENERAL_FAILURE, {});
    } else {
        cb(ErrorStatus::NONE, burst);
    }
    return Void();
}