Android 15에서는 관심 영역(RoI) 사용자 구성을 Android 동영상 인코딩 프레임워크에 통합하기 위한 표준화된 프로세스를 도입합니다. 이 기능은 다음을 통해 RoI의 압축 품질을 개선합니다. 동영상에 사용자 구성을 통합하고 분석하는 공개 API 제공 인코더-디코더
구현
SoC 공급업체 및 OEM은 FEATURE_Roi
플래그를 사용하여 동영상 인코딩의 RoI 지원을 제어할 수 있습니다. FEATURE_Roi
를 사용 설정하지 않으면 동영상 인코더 동작이 변경되지 않습니다.
동영상 프레임워크 변경사항
이 섹션에서는 이 기능을 구현하는 데 필요한 동영상 프레임워크의 변경사항을 자세히 설명합니다.
Codec2의 키
Android 15에서는 양자화 매개변수 맵(QP_map
) 및 직사각형 구성(rect
)이 RoI 구성 유형으로 정의됩니다. 또한 두 개의 키가 Codec2 (C2)에 도입되어
이러한 새로운 유형을 지원합니다. 두 키 사용은 공개 API와 동일합니다.
인코더의 프레임 루프 내에서 구성은 동적으로 조정됨
입력 버퍼가 큐에 추가되기 전에,
다음과 같습니다.
고정 시나리오에서 현재 인코더는 이전 프레임과 동일한 구성을 사용합니다.
동적 시나리오에서는 RoI 구성 유형이 동적으로 변경될 수 있습니다.
C2의 새 키는 다음 섹션에서 설명합니다.
kParamIndexQpOffsetMapBuffer
kParamIndexQpOffsetMapBuffer
키는 프레임의 qp-offset
맵에 신호를 보냅니다. 그 값은
매개변수 PARAMETER_KEY_QP_OFFSET_MAP
최저가 setParameters
kParamIndexQpOffsetMapBuffer
는 다음과 같은 속성을 가진 C2InfoBuffer
의 바이트 배열입니다.
길이: 한 프레임의 16x16 블록 수입니다.
값: 배열의 각 값은 -51~51 영역에서 16x16 블록의 QP 오프셋입니다. 대상 최대 코딩 단위(LCU)의 QP는 인코더 비율 제어와 오프셋을 곱하여 계산됩니다. 계산된 결과가 0~51 범위를 초과하면 값이 0~51로 잘립니다.
- 0인 경우: QP 오프셋이 없으며 QP는 원래 비율 제어에 의해 결정됩니다.
- 0이 아니면 QP는 원래 속도 제어에 오프셋을 더한 값입니다.
- 음수인 경우: 대상 LCU에서 동영상 화질이 향상됩니다.
- 양성인 경우: 타겟 LCU에서 동영상 품질이 저하됩니다.
사용법: 사용자는 이 키를 16x16 블록으로 구성해야 합니다. 인코더는 입력 시퀀스의 16x16 크기의 값을 평균화하여 구성을 실제 LCU 크기로 LCU의 모든 블록이 포함되어 있습니다
C2_PARAMKEY_QP_OFFSET_RECTS
C2_PARAMKEY_QP_OFFSET_RECTS
키 (coding.qp-offset-rects
로 설정됨
ROI가 QpOffset-Rects
로 설정됩니다. 값은 setParameters
의 입력 매개변수 PARAMETER_KEY_QP_OFFSET_RECTS
를 사용하여 설정됩니다.
이 키를 지원하기 위해 다음 구조 C2QpOffsetRectStruct
가 도입되었습니다.
struct C2QpOffsetRectStruct : C2Rect {
int32_t qpOffset;
DEFINE_AND_DESCRIBE_C2STRUCT(QpOffsetRect)
C2FIELD(width, "width")
C2FIELD(height, "height")
C2FIELD(left, "left")
C2FIELD(top, "top")
C2FIELD(qpOffset, "qp-offset")
}
각각의 의미는 다음과 같습니다.
top
및left
: 직사각형 형태의 RoI 좌표입니다. ROI는 LCU 경계에 맞게 확장됩니다. 이 값은 각 픽셀의 왼쪽 상단 모서리를 나타냅니다. 예를 들어 ((0,0), (16, 16))은 전체 16x16 블록을 정의합니다.qpOffset
: 배열의 각 값은 타겟의 QP 오프셋을 나타냅니다.rect
지역. 그 정의와 사용법은kParamIndexQpOffsetMapBuffer
값입니다.
매핑 알고리즘
다음 표는 공개 키와 동영상 프레임워크 간의 매핑을 보여줍니다.
공개 키 또는 API | 동영상 프레임워크의 매핑 |
---|---|
PARAMETER_KEY_QP_OFFSET_MAP |
값은 kParamIndexQpOffsetMapBuffer 에
C2InfoBuffer 인스턴스. |
PARAMETER_KEY_QP_OFFSET_RECTS |
값이 String 에서 Struct C2QpOffsetRectStruct 로 변환되고 C2_PARAMKEY_QP_OFFSET_RECTS 에 전달됩니다. |
오류 처리
OEM 구현은 다음과 같은 오류 사례를 처리해야 합니다.
오류 사례 | 예 | 취급 |
---|---|---|
공급업체 키와 표준화된 키는 모두 RoI를 사용 설정하는 데 사용됩니다. | 사용자가 setFeatureEnabled(FEATURE_ROI) 그리고
공급업체 키를 사용하여 ROI를 사용 설정합니다. |
RoI를 사용 설정해야 합니다. |
QP 오프셋이 범위 내에 있지만 SoC 공급업체에서 지원하지 않습니다. | 사용자가 QP 오프셋을 12로 설정했지만 SoC는 최대 10까지의 QP 오프셋만 지원합니다. | 지원되는 QP 오프셋 범위는 최선을 다해 유지합니다. 값은 SoC의 지원 범위에 제한됩니다. |
여러 RoI 구성(표준화된 키 또는 공급업체별 키)이 단일 프레임으로 설정됩니다. | 사용자가 프레임 1에 표준화된 키와 공급업체 키를 모두 사용합니다. | 가능한 경우 프레임워크는 첫 번째 표준화된 rect 를 유지합니다.
첫 번째 표준화된 QP_map 구성
또는 둘 다일 수 있습니다. 각 카테고리에서 프레임워크는 SoC에 표준화된 구성을 하나만 전송하며, 표준화된 구성을 사용할 수 있는 경우 SoC 구현은 공급업체 구성을 무시해야 합니다. SoC에 여러 구성이 전송되는 경우 SoC 공급업체는 하나의 RoI 구성만 유지하고 나머지 구성은 무시해야 합니다.구성은 다음 우선순위에 따라 유지됩니다.
|