Panduan OEM untuk penerapan RoI

Android 15 memperkenalkan proses standar untuk mengintegrasikan konfigurasi pengguna region of interest (RoI) ke dalam framework encoding video Android. Fitur ini memungkinkan kualitas kompresi yang lebih baik untuk RoI dengan menawarkan API publik untuk mengintegrasikan dan menganalisis konfigurasi pengguna ke dalam encoder video.

Penerapan

Vendor SoC dan OEM dapat mengontrol dukungan RoI untuk encoding video dengan the FEATURE_Roi flag. Jika FEATURE_Roi tidak diaktifkan, tidak ada perubahan pada perilaku encoder video.

Perubahan dalam framework video

Bagian ini menjelaskan perubahan dalam framework video yang diperlukan untuk menerapkan fitur ini.

Kunci di Codec2

Di Android 15, peta parameter kuantisasi (QP_map) dan konfigurasi persegi panjang (rect) ditentukan sebagai jenis konfigurasi RoI. Selain itu, dua kunci diperkenalkan di Codec2 (C2) untuk mendukung jenis baru ini. Penggunaan untuk kedua kunci sama dengan API publik. Dalam loop frame encoder, konfigurasi disesuaikan secara dinamis selama tahap berjalan, sebelum buffer input diantrekan, seperti yang dijelaskan berikut:

• Dalam skenario sticky, jika tidak ada konfigurasi RoI yang diberikan untuk frame saat ini, encoder akan menggunakan konfigurasi yang sama dengan frame sebelumnya.

• Dalam skenario dinamis, jenis konfigurasi RoI dapat berubah secara dinamis.

Kunci baru di C2 dijelaskan di bagian berikut.

kParamIndexQpOffsetMapBuffer

Kunci kParamIndexQpOffsetMapBuffer menandakan peta qp-offset untuk sebuah frame. Nilainya ditetapkan menggunakan input parameter PARAMETER_KEY_QP_OFFSET_MAP dari setParameters.

kParamIndexQpOffsetMapBuffer adalah array byte di C2InfoBuffer, dengan atribut berikut:

• Panjang: Jumlah blok 16x16 dalam satu frame.

• Nilai: Setiap nilai array adalah offset QP dari blok 16x16, di wilayah -51~51. QP unit pengkodean terbesar (LCU) target dihitung dengan kontrol kecepatan encoder ditambah offset. Jika hasil yang dihitung melebihi wilayah 0~51, nilai akan dipangkas menjadi 0~51.

  • Jika 0: Tidak ada offset QP, QP ditentukan oleh kontrol kecepatan asli.
  • Jika bukan nol: QP adalah kontrol kecepatan asli ditambah offset.
  • Jika negatif: Kualitas video ditingkatkan di LCU target.
  • Jika positif: Kualitas video menurun di LCU target.

• Penggunaan: Pengguna harus mengonfigurasi kunci ini sebagai blok 16x16. Encoder menyesuaikan konfigurasi ke ukuran LCU sebenarnya dengan merata-ratakan nilai blok 16x16 di LCU.

C2_PARAMKEY_QP_OFFSET_RECTS

Kunci C2_PARAMKEY_QP_OFFSET_RECTS (ditetapkan ke coding.qp-offset-rects menetapkan RoI sebagai QpOffset-Rects. Nilainya ditetapkan menggunakan parameter input PARAMETER_KEY_QP_OFFSET_RECTS dari setParameters.

Untuk mendukung kunci ini, struktur C2QpOffsetRectStruct berikut diperkenalkan:

struct C2QpOffsetRectStruct : C2Rect {
  int32_t qpOffset;

  DEFINE_AND_DESCRIBE_C2STRUCT(QpOffsetRect)
  C2FIELD(width, "width")
  C2FIELD(height, "height")
  C2FIELD(left, "left")
  C2FIELD(top, "top")
  C2FIELD(qpOffset, "qp-offset")
}

Dengan:

• top dan left: Koordinat RoI, dalam bentuk persegi panjang. RoI direntangkan agar selaras dengan batas LCU. Nilai ini mewakili sudut kiri atas setiap piksel, sehingga ((0,0), (16, 16)) menentukan blok 16x16 penuh.

• qpOffset: Setiap nilai array mewakili offset QP dari area rect target. Definisi dan penggunaannya sama dengan nilai kParamIndexQpOffsetMapBuffer.

Algoritma pemetaan

Tabel berikut menunjukkan pemetaan dari kunci publik ke framework video:

Penanganan error

Implementasi OEM harus menangani kasus error berikut: