ROI 구현을 위한 OEM 가이드

Android 15에서는 관심 영역 (RoI) 사용자 구성을 Android 동영상 인코딩 프레임워크에 통합하기 위한 표준화된 프로세스를 도입합니다. 이 기능은 공개 API를 제공하여 사용자 구성을 동영상 인코더에 통합하고 분석함으로써 RoI의 압축 품질을 개선합니다.

구현

SoC 공급업체 및 OEM은 동영상 인코딩의 RoI 지원을 FEATURE_Roi 플래그를 사용하여 제어할 수 있습니다. FEATURE_Roi가 사용 설정되지 않은 경우 동영상 인코더 동작에 변경사항이 없습니다.

동영상 프레임워크의 변경사항

이 섹션에서는 이 기능을 구현하는 데 필요한 동영상 프레임워크의 변경사항을 자세히 설명합니다.

Codec2의 키

Android 15에서는 양자화 매개변수 맵(QP_map)과 직사각형 구성 (rect)이 RoI 구성 유형으로 정의됩니다. 또한 이러한 새로운 유형을 지원하기 위해 Codec2 (C2)에 두 개의 키가 도입됩니다. 두 키의 사용법은 공개 API와 동일합니다. 인코더의 프레임 루프 내에서 구성은 입력 버퍼가 대기열에 추가되기 전에 실행 단계에서 다음과 같이 동적으로 조정됩니다.

• 고정 시나리오에서 현재 프레임에 RoI 구성이 제공되지 않으면 인코더는 이전 프레임과 동일한 구성을 사용합니다.

• 동적 시나리오에서 RoI 구성 유형은 동적으로 변경될 수 있습니다.

C2의 새 키는 다음 섹션에서 설명합니다.

kParamIndexQpOffsetMapBuffer

kParamIndexQpOffsetMapBuffer 키는 qp-offset 맵을 나타냅니다. 이 값은 setParameters의 입력 매개변수 PARAMETER_KEY_QP_OFFSET_MAP 을 사용하여 설정됩니다.

kParamIndexQpOffsetMapBuffer는 C2InfoBuffer의 바이트 배열이며 다음과 같은 속성을 포함합니다.

• 길이: 한 프레임의 16x16 블록 수입니다.

• 값: 배열의 각 값은 -51~51 영역의 16x16 블록의 QP 오프셋입니다. 타겟 최대 코딩 단위 (LCU)의 QP는 인코더 속도 제어와 오프셋을 더하여 계산됩니다. 계산된 결과가 0~51 영역을 초과하면 값은 0~51로 잘립니다.

  • 0인 경우: QP 오프셋이 없으며 QP는 원래 속도 제어에 의해 결정됩니다.
  • 0이 아닌 경우: QP는 원래 속도 제어와 오프셋을 더한 값입니다.
  • 음수인 경우: 타겟 LCU에서 동영상 품질이 향상됩니다.
  • 양수인 경우: 타겟 LCU에서 동영상 품질이 저하됩니다.

• 사용법: 사용자는 이 키를 16x16 블록으로 구성해야 합니다. 인코더는 LCU의 16x16 블록 값을 평균 하여 구성을 실제 LCU 크기로 조정합니다.

C2_PARAMKEY_QP_OFFSET_RECTS

C2_PARAMKEY_QP_OFFSET_RECTS 키 (coding.qp-offset-rects 로 설정됨)는 RoI를 QpOffset-Rects로 설정합니다. 이 값은 PARAMETER_KEY_QP_OFFSET_RECTS의 입력 매개변수 setParameters를 사용하여 설정됩니다.

이 키를 지원하기 위해 다음 구조 C2QpOffsetRectStruct 가 도입됩니다.

struct C2QpOffsetRectStruct : C2Rect {
  int32_t qpOffset;

  DEFINE_AND_DESCRIBE_C2STRUCT(QpOffsetRect)
  C2FIELD(width, "width")
  C2FIELD(height, "height")
  C2FIELD(left, "left")
  C2FIELD(top, "top")
  C2FIELD(qpOffset, "qp-offset")
}

각 항목의 의미는 다음과 같습니다.

• top 및 left: 직사각형 모양의 RoI 좌표입니다. RoI는 LCU 경계에 맞게 늘어납니다. 이 값은 각 픽셀의 왼쪽 상단 모서리를 나타내므로 ((0,0), (16, 16))은 전체 16x16 블록을 정의합니다.

• qpOffset: 배열의 각 값은 타겟 rect 영역의 QP 오프셋을 나타냅니다. 정의 및 사용법은 kParamIndexQpOffsetMapBuffer 값과 동일합니다.

매핑 알고리즘

다음 표에서는 공개 키에서 동영상 프레임워크로의 매핑을 보여줍니다.

오류 처리

OEM 구현은 다음 오류 사례를 처리해야 합니다.