Hướng dẫn của OEM (Nhà sản xuất thiết bị gốc) về cách triển khai RoI

Android 15 ra mắt một quy trình chuẩn hoá để tích hợp cấu hình người dùng của khu vực quan tâm (RoI) vào video Android khung mã hoá. Tính năng này giúp nâng cao chất lượng nén đối với RoI, bằng cách cung cấp các API công khai để tích hợp và phân tích cấu hình của người dùng vào video bộ mã hoá.

Triển khai

Các nhà cung cấp hệ thống SoC (SoC) và OEM (Nhà sản xuất thiết bị gốc) có thể kiểm soát việc hỗ trợ chỉ số RoI (Chỉ thị trường hợp sử dụng) đối với việc mã hoá video bằng FEATURE_Roi cờ. Nếu bạn không bật FEATURE_Roi thì hoạt động của bộ mã hoá video sẽ không thay đổi.

Các thay đổi về khung video

Phần này trình bày chi tiết những thay đổi trong khung video cần thiết để triển khai của chúng tôi.

Các khoá trong bộ mã hoá và giải mã 2

Trong Android 15, liên kết thông số lượng tử hoá (QP_map) và cấu hình hình chữ nhật (rect) được xác định là RoI các loại cấu hình. Ngoài ra, hai khoá được đưa vào trong Codec2 (C2) để hỗ trợ các loại mới này. Cả hai khoá đều có cách sử dụng giống như API công khai. Trong vòng lặp khung của bộ mã hoá, cấu hình được điều chỉnh linh động trong giai đoạn chạy, trước khi bộ đệm đầu vào được xếp hàng đợi, được mô tả như sau:

  • Trong trường hợp cố định, nếu không có cấu hình RoI nào được cung cấp cho chế độ cài đặt hiện tại khung hình, bộ mã hóa sử dụng cùng cấu hình với khung trước đó.

  • Trong trường hợp động, các loại cấu hình RoI có thể thay đổi linh động.

Các khoá mới trong C2 được mô tả trong phần sau.

kParamIndexQpOffsetMapBuffer

kParamIndexQpOffsetMapBuffer chính sẽ báo hiệu cho bản đồ qp-offset cho một khung. Giá trị của biến này được đặt bằng cách sử dụng đầu vào tham số PARAMETER_KEY_QP_OFFSET_MAP từ setParameters.

kParamIndexQpOffsetMapBuffer là một mảng byte trong C2InfoBuffer, với các thuộc tính sau:

  • Chiều dài: Số lượng khối 16x16 trong một khung.

  • Giá trị: Mỗi giá trị của mảng là độ lệch QP của một khối 16x16, theo vùng -51~51. QP của đơn vị mã hoá lớn nhất mục tiêu (LCU) được tính bằng kiểm soát tốc độ bộ mã hoá cùng với độ lệch. Nếu kết quả tính toán vượt quá khoảng từ 0 đến 51 thì giá trị được cắt ngắn thành 0~51.

    • Nếu 0: Không có bù đắp QP, QP được quyết định bởi kiểm soát giá ban đầu.
    • Nếu khác 0: QP là mức kiểm soát giá gốc cộng với mức chênh lệch.
    • Nếu âm: Chất lượng video được tăng cường trong LCU mục tiêu.
    • Nếu dương: Chất lượng video giảm trong LCU mục tiêu.
  • Cách sử dụng: Người dùng phải định cấu hình khoá này dưới dạng các khối 16x16. Bộ mã hoá điều chỉnh cấu hình thành kích thước LCU thực bằng cách lấy trung bình các giá trị của 16x16 trong LCU.

C2_PARAMKEY_QP_OFFSET_OFFSETS

C2_PARAMKEY_QP_OFFSET_RECTS phím (được đặt thành coding.qp-offset-rects đặt RoI thành QpOffset-Rects. Giá trị của biến này được đặt bằng cách sử dụng tham số đầu vào PARAMETER_KEY_QP_OFFSET_RECTS từ setParameters.

Để hỗ trợ khoá này, cấu trúc sau C2QpOffsetRectStruct được giới thiệu:

struct C2QpOffsetRectStruct : C2Rect {
  int32_t qpOffset;

  DEFINE_AND_DESCRIBE_C2STRUCT(QpOffsetRect)
  C2FIELD(width, "width")
  C2FIELD(height, "height")
  C2FIELD(left, "left")
  C2FIELD(top, "top")
  C2FIELD(qpOffset, "qp-offset")
}

Trong trường hợp:

  • topleft: Toạ độ của RoI, theo hình chữ nhật. RoI là kéo dài để phù hợp với ranh giới của LCU. Giá trị biểu thị góc trên cùng bên trái của mỗi điểm ảnh, sao cho ((0,0), (16, 16)) xác định một khối 16x16 đầy đủ.

  • qpOffset: Mỗi giá trị của mảng đại diện cho độ lệch QP của mục tiêu rect khu vực. Định nghĩa và cách sử dụng này giống như của Giá trị kParamIndexQpOffsetMapBuffer.

Thuật toán ánh xạ

Bảng sau đây trình bày mối liên kết từ khoá công khai đến video khung:

Khoá hoặc API công khai Liên kết trong khung video
PARAMETER_KEY_QP_OFFSET_MAP Giá trị được truyền đến kParamIndexQpOffsetMapBuffer dưới dạng Thực thể C2InfoBuffer.
PARAMETER_KEY_QP_OFFSET_RECTS Giá trị sẽ được chuyển đổi từ String thành Struct C2QpOffsetRectStruct và được truyền đến C2_PARAMKEY_QP_OFFSET_RECTS.

Xử lý lỗi

Việc triển khai OEM phải xử lý các trường hợp lỗi sau:

Trường hợp lỗi Ví dụ Sử dụng
Cả khoá của nhà cung cấp và khoá được chuẩn hoá đều dùng để bật RoI. Người dùng gọi cả setFeatureEnabled(FEATURE_ROI) VÀ khoá của nhà cung cấp để bật RoI. Bạn phải bật RoI.
Độ lệch QP nằm trong phạm vi nhưng không được các nhà cung cấp SoC hỗ trợ. Người dùng thiết lập độ lệch QP là 12, nhưng SoC chỉ hỗ trợ độ lệch QP tối đa là 10. Phạm vi bù trừ QP được hỗ trợ vẫn sẽ cố gắng hết sức. Giá trị là kẹp vào phạm vi được hỗ trợ của SoC.
Nhiều cấu hình RoI (cho dù là khoá được chuẩn hoá hay khoá dành riêng cho nhà cung cấp) được đặt thành một khung duy nhất. Người dùng sử dụng cả khoá chuẩn hoá và khoá của nhà cung cấp cho khung hình 1. Nếu có, khung này sẽ giữ lại rect được chuẩn hoá đầu tiên cấu hình này, cấu hình QP_map được chuẩn hoá đầu tiên, hoặc cả hai. Trong mỗi danh mục, khung này chỉ gửi một URL được chuẩn hoá cấu hình cho SoC và nếu có sẵn cấu hình chuẩn, việc triển khai SoC phải bỏ qua các cấu hình của nhà cung cấp. Nếu nhiều cấu hình được gửi đến SoC, nhà cung cấp SoC phải giữ lại chỉ một cấu hình RoI và bỏ qua các cấu hình còn lại.

Cấu hình được giữ lại theo thứ tự ưu tiên sau:

  1. rect được tiêu chuẩn hóa
  2. QP_map được tiêu chuẩn hóa
  3. Nhà cung cấp rect
  4. Nhà cung cấp QP_map