Conseils OEM pour la mise en œuvre du RoI

Android 15 introduit un processus standardisé Vidéo sur l'intégration des configurations utilisateur pour les régions d'intérêt (RoI) d'encodage. Cette fonctionnalité offre une meilleure qualité de compression pour les ROI en proposant des API publiques permettant d'intégrer et d'analyser les configurations utilisateur dans l'encodeur vidéo.

Implémentation

Les fournisseurs de SoC et les OEM peuvent contrôler la prise en charge du protocole RoI pour l'encodage vidéo avec le FEATURE_Roi . Si l'option FEATURE_Roi n'est pas activée, le comportement de l'encodeur vidéo reste inchangé.

Modifications apportées au framework vidéo

Cette section détaille les modifications à apporter à la structure vidéo nécessaires pour mettre en œuvre cette .

Clés dans Codec2

Dans Android 15, le mappage des paramètres de quantification (QP_map) et la configuration rectangulaire (rect) sont définies comme RoI types de configuration. De plus, deux clés sont introduites dans Codec2 (C2) pour prendre en charge ces nouveaux types. L'utilisation des deux clés est la même que pour les API publiques. Dans la boucle de frame de l'encodeur, la configuration est ajustée de manière dynamique pendant la phase d'exécution, avant que la mémoire tampon d'entrée ne soit mise en file d'attente, comme suit :

  • Dans un scénario persistant, si aucune configuration de ROI n'est fournie pour le frame actuel, l'encodeur utilise la même configuration que le frame précédent.

  • Dans un scénario dynamique, les types de configuration du ROI peuvent changer de manière dynamique.

Les nouvelles clés de C2 sont décrites dans les sections suivantes.

kParamIndexQpOffsetMapBuffer

kParamIndexQpOffsetMapBuffer la clé signale la carte qp-offset pour un frame. Sa valeur est définie à l'aide de l'entrée Paramètre PARAMETER_KEY_QP_OFFSET_MAP de setParameters.

kParamIndexQpOffsetMapBuffer est un tableau d'octets dans C2InfoBuffer, avec les attributs suivants :

  • Longueur: le nombre de blocs de 16 x 16 dans une image.

  • Valeur : chaque valeur du tableau correspond au décalage QP d'un bloc 16x16, dans la plage -51 à 51. Le QP de la plus grande unité de codage (LCU) cible est calculé par le contrôle du débit de l'encodeur plus le décalage. Si le résultat calculé dépasse la plage 0 à 51, la valeur est tronquée à 0 à 51.

    • Si la valeur est 0: aucun décalage QP, c'est le contrôle de taux d'origine qui détermine le QP.
    • Si elle est différente de zéro: QP correspond au contrôle de taux d'origine plus le décalage.
    • Si elle est négative, la qualité de la vidéo est améliorée dans la LCU cible.
    • Si la valeur est positive, la qualité vidéo diminue dans la zone géographique cible.

  • Utilisation : l'utilisateur doit configurer cette clé en blocs de 16 x 16. L'encodeur ajuste la configuration à la taille réelle de la bibliothèque LCU en faisant la moyenne des valeurs de la couche 16 x 16 dans le LCU.

C2_PARAMKEY_QP_OFFSET_RECTS

La clé C2_PARAMKEY_QP_OFFSET_RECTS (définie sur coding.qp-offset-rects) définit le ROI sur QpOffset-Rects. Sa valeur est définie à l'aide du paramètre d'entrée PARAMETER_KEY_QP_OFFSET_RECTS de setParameters.

Pour utiliser cette clé, la structure suivante C2QpOffsetRectStruct est introduit:

struct C2QpOffsetRectStruct : C2Rect {
  int32_t qpOffset;

  DEFINE_AND_DESCRIBE_C2STRUCT(QpOffsetRect)
  C2FIELD(width, "width")
  C2FIELD(height, "height")
  C2FIELD(left, "left")
  C2FIELD(top, "top")
  C2FIELD(qpOffset, "qp-offset")
}

Où :

  • top et left : coordonnées de la zone d'intérêt, sous forme rectangulaire. Le RoI est étirés pour s'aligner sur les limites de l'unité de calcul du temps de calcul. La valeur représente le coin supérieur gauche de chaque pixel, de sorte que ((0,0), (16, 16)) définit un bloc complet de 16 x 16.

  • qpOffset: chaque valeur du tableau représente le décalage QP de la cible. rect. Sa définition et son utilisation sont identiques à celles de la valeur kParamIndexQpOffsetMapBuffer.

Algorithme de mappage

Le tableau suivant montre le mappage des clés publiques vers le framework vidéo :

Clés publiques ou API Mappage dans le framework vidéo
PARAMETER_KEY_QP_OFFSET_MAP La valeur est transmise à kParamIndexQpOffsetMapBuffer en tant que C2InfoBuffer instance.
PARAMETER_KEY_QP_OFFSET_RECTS La valeur est convertie de String en Struct C2QpOffsetRectStruct et transmise à C2_PARAMKEY_QP_OFFSET_RECTS.

Gestion des exceptions

L'implémentation OEM doit gérer les cas d'erreur suivants:

Cas d'erreur Exemple Manipulation
La clé du fournisseur et la clé standardisée sont utilisées pour activer le ROAS. L'utilisateur appelle à la fois setFeatureEnabled(FEATURE_ROI) ET la clé du fournisseur pour activer le ROI. Le ROI doit être activé.
Le décalage QP est compris dans la plage, mais n'est pas pris en charge par les fournisseurs de SoC. L'utilisateur définit le décalage QP sur 12, mais le SoC n'accepte que des décalages QP allant jusqu'à 10. La plage de décalage QP compatible est définie dans l'optique d'obtenir le meilleur résultat possible. La valeur est limitée à la plage compatible du SoC.
Plusieurs configurations RoI (clé standardisée ou clé spécifique au fournisseur) sont définies sur une seule image. L'utilisateur utilise à la fois la clé standardisée et la clé du fournisseur pour le frame 1. Le framework conserve la première configuration rect standardisée, la première configuration QP_map standardisée ou les deux, le cas échéant. Dans chaque catégorie, le framework n'envoie qu'un seul modèle sur le SoC et si la configuration standardisée est disponible, l'implémentation du SoC doit ignorer les configurations du fournisseur. Si plusieurs configurations sont envoyées au SoC, le fournisseur du SoC doit conserver une seule configuration RoI et ignorer les autres configurations.

Les configurations sont conservées dans cet ordre de priorité:

  1. rect standardisé
  2. QP_map standardisé
  3. Fournisseur rect
  4. Fournisseur QP_map