O Google tem o compromisso de promover a igualdade racial para as comunidades negras. Saiba como.

Reprodução de vídeo HDR

O vídeo de alta faixa dinâmica (HDR) é a próxima fronteira em decodificação de vídeo de alta qualidade, trazendo qualidades de reprodução de cena incomparáveis. Fá-lo por aumentar significativamente o alcance dinâmico do componente de luminância (a partir da corrente de 100 cd / m 2 para 1000s de cd / m 2) e por meio de um espaço de cor muito mais larga (BT 2020). Este é agora um elemento central da evolução 4K UHD no espaço da TV.

O Android 10 oferece suporte aos seguintes vídeos HDR.

  • HDR10
  • VP9
  • HDR10 +

A partir do Android 9 e superior, o MediaCodec relata metadados HDR independentemente do modo de túnel. Você pode obter dados decodificados junto com metadados estáticos / dinâmicos no modo sem túnel. Para HDR10 e VP9Profile2 que usa metadados estática, estes são relatados no formato de saída com chave KEY_HDR_STATIC_INFO . Para HDR10 + que usa metadados dinâmicos, isto é relatado com chave KEY_HDR10_PLUS_INFO sobre o formato de saída e pode mudar para cada quadro de saída. Veja Multimedia Tunneling para mais informações.

Desde o Android 7.0, o suporte HDR inicial inclui a criação de constantes adequadas para a descoberta e configuração de pipelines de vídeo HDR. Isso significa definir tipos de codec e modos de exibição e especificar como os dados HDR devem ser passados ​​para o MediaCodec e fornecidos aos decodificadores HDR.

O objetivo deste documento é ajudar os desenvolvedores de aplicativos a oferecer suporte à reprodução de fluxo HDR e ajudar os OEMs e SOCs a habilitar os recursos HDR.

Tecnologias HDR com suporte

A partir do Android 7.0 e superior, as seguintes tecnologias HDR são compatíveis.

Tecnologia Dolby-Vision HDR10 VP9-HLG VP9-PQ
Codec AVC / HEVC HEVC VP9 VP9
Função de transferência ST-2084 ST-2084 HLG ST-2084
Tipo de metadados HDR Dinâmico Estático Nenhum Estático

No Android 7.0, apenas a reprodução de HDR por meio do modo de túnel é definida, mas os dispositivos podem adicionar suporte para a reprodução de HDR em SurfaceViews usando buffers de vídeo opacos. Em outras palavras:

  • Não existe uma API Android padrão para verificar se a reprodução de HDR é compatível com decodificadores sem túnel.
  • Os decodificadores de vídeo em túnel que anunciam a capacidade de reprodução HDR devem oferecer suporte à reprodução HDR quando conectados a monitores compatíveis com HDR.
  • A composição GL do conteúdo HDR não é compatível com a versão AOSP Android 7.0.

Descoberta

A reprodução HDR requer um decodificador compatível com HDR e uma conexão a um monitor compatível com HDR. Opcionalmente, algumas tecnologias requerem um extrator específico.

Exibição

Os pedidos devem usar o novo Display.getHdrCapabilities API para consultar as tecnologias HDR suportados pelo monitor especificado. Esta é basicamente a informação no bloco de dados de metadados estáticos EDID, conforme definido em CTA-861.3:

  • public Display.HdrCapabilities getHdrCapabilities()
    Retorna os recursos de HDR da tela.
  • Display.HdrCapabilities
    Encapsula os recursos HDR de um determinado monitor. Por exemplo, quais tipos de HDR ele suporta e detalhes sobre os dados de luminância desejados.

Constantes:

  • int HDR_TYPE_DOLBY_VISION
    Suporte Dolby Vision.
  • int HDR_TYPE_HDR10
    Suporte HDR10 / PQ.
  • int HDR_TYPE_HLG
    Suporte Hybrid Log-Gamma.
  • float INVALID_LUMINANCE
    Valor de luminância inválido.

Métodos públicos:

  • float getDesiredMaxAverageLuminance()
    Retorna o conteúdo de dados de luminância em forma de quadro em média max cd / cd / m 2 desejado para esta exposição.
  • float getDesiredMaxLuminance()
    Retorna a desejada dados máximo de luminância de conteúdo em Cd / cd / m 2 para esta exposição.
  • float getDesiredMinLuminance()
    Retorna os dados de luminância mínimo de conteúdo em desejados cd / cd / m 2 para esta exposição.
  • int[] getSupportedHdrTypes()
    Obtém os tipos de HDR compatíveis com esta exibição (consulte as constantes). Retorna uma matriz vazia se HDR não for compatível com o monitor.

Decodificador

Os pedidos devem usar o existente CodecCapabilities.profileLevels API para verificar o suporte para os perfis capazes nova HDR:

Dolby-Vision

MediaFormat constante mime:

String MIMETYPE_VIDEO_DOLBY_VISION

MediaCodecInfo.CodecProfileLevel constantes em seu perfil:

int DolbyVisionProfileDvavPen
int DolbyVisionProfileDvavPer
int DolbyVisionProfileDvheDen
int DolbyVisionProfileDvheDer
int DolbyVisionProfileDvheDtb
int DolbyVisionProfileDvheDth
int DolbyVisionProfileDvheDtr
int DolbyVisionProfileDvheStn

Camadas e metadados de vídeo Dolby Vision devem ser concatenados em um único buffer por quadros por aplicativos de vídeo. Isso é feito automaticamente pelo MediaExtractor compatível com Dolby-Vision.

HEVC HDR 10

MediaCodecInfo.CodecProfileLevel constantes em seu perfil:

int HEVCProfileMain10HDR10

VP9 HLG e PQ

MediaCodecInfo.CodecProfileLevel constantes em seu perfil:

int VP9Profile2HDR
int VP9Profile3HDR

Se uma plataforma suportar um decodificador compatível com HDR, ela também deverá suportar um extrator compatível com HDR.

Apenas decodificadores em túnel têm garantia de reproduzir conteúdo HDR. A reprodução por decodificadores não tunelados pode resultar na perda das informações do HDR e no achatamento do conteúdo em um volume de cor SDR.

Extrator

Os seguintes contêineres são compatíveis com as várias tecnologias HDR no Android 7.0:

Tecnologia Dolby-Vision HDR10 VP9-HLG VP9-PQ
Recipiente MP4 MP4 WebM WebM

Descobrir se uma faixa (de um arquivo) requer suporte HDR não é suportado pela plataforma. Os aplicativos podem analisar os dados específicos do codec para determinar se uma faixa requer um perfil HDR específico.

Resumo

Os requisitos de componentes para cada tecnologia HDR são mostrados na tabela a seguir:

Tecnologia Dolby-Vision HDR10 VP9-HLG VP9-PQ
Tipo de HDR compatível (monitor) HDR_TYPE_DOLBY_VISION HDR_TYPE_HDR10 HDR_TYPE_HLG HDR_TYPE_HDR10
Recipiente (Extrator) MP4 MP4 WebM WebM
Decodificador MIMETYPE_VIDEO_DOLBY_VISION MIMETYPE_VIDEO_HEVC MIMETYPE_VIDEO_VP9 MIMETYPE_VIDEO_VP9
Perfil (decodificador) Um dos perfis Dolby HEVCProfileMain10HDR10 VP9Profile2HDR ou VP9Profile3HDR VP9Profile2HDR ou VP9Profile3HDR

Notas:

  • Os fluxos de bits Dolby-Vision são empacotados em um contêiner MP4 de uma forma definida pela Dolby. Os aplicativos podem implementar seus próprios extratores com capacidade Dolby, desde que empacotem as unidades de acesso das camadas correspondentes em uma única unidade de acesso para o decodificador, conforme definido pela Dolby.
  • Uma plataforma pode suportar um extrator capaz de HDR, mas nenhum decodificador compatível com HDR correspondente.

Reprodução

Depois que um aplicativo verifica o suporte para reprodução HDR, ele pode reproduzir conteúdo HDR quase da mesma maneira que reproduz conteúdo não HDR, com as seguintes ressalvas:

  • Para Dolby-Vision, se um arquivo / faixa de mídia específica requer ou não um decodificador compatível com HDR não está imediatamente disponível. O aplicativo deve ter essas informações com antecedência ou ser capaz de obtê-las analisando a seção de dados específicos do codec do MediaFormat.
  • CodecCapabilities.isFormatSupported não considera se o recurso decodificador túnel é necessário para apoiar um tal perfil.

Habilitando o suporte da plataforma HDR

Os fornecedores de SoC e OEMs devem fazer um trabalho adicional para habilitar o suporte da plataforma HDR para um dispositivo.

Mudanças de plataforma no Android 7.0 para HDR

Aqui estão algumas mudanças importantes na plataforma (aplicativo / camada nativa) que os OEMs e SOCs precisam estar cientes.

Exibição

Composição de hardware

As plataformas compatíveis com HDR devem oferecer suporte à combinação de conteúdo HDR com conteúdo não HDR. As características e operações exatas de combinação não são definidas pelo Android a partir da versão 7.0, mas o processo geralmente segue estas etapas:

  1. Determine um espaço / volume de cor linear que contenha todas as camadas a serem compostas, com base na cor das camadas, na masterização e nos metadados dinâmicos potenciais.
    Se estiver compondo diretamente para uma tela, este pode ser o espaço linear que corresponde ao volume de cores da tela.
  2. Converta todas as camadas para o espaço de cores comum.
  3. Faça a mistura.
  4. Se estiver exibindo por meio de HDMI:
    1. Determine a cor, a masterização e os metadados dinâmicos potenciais para a cena combinada.
    2. Converta a cena combinada resultante no espaço / volume de cor derivado.
  5. Se estiver exibindo diretamente no display, converta a cena combinada resultante nos sinais de display necessários para produzir aquela cena.

Descoberta de exibição

A descoberta de exibição HDR só é compatível com HWC2. Os implementadores de dispositivos devem ativar seletivamente o adaptador HWC2 lançado com o Android 7.0 para que esse recurso funcione. Portanto, as plataformas devem adicionar suporte para HWC2 ou estender a estrutura AOSP para permitir uma maneira de fornecer essas informações. O HWC2 expõe uma nova API para propagar dados estáticos HDR para a estrutura e o aplicativo.

HDMI

  • Um monitor HDMI ligado anuncia a sua capacidade HDR através de HDMI EDID como definido na CTA-861,3 secção 4.2.
  • O seguinte mapeamento EOTF deve ser usado:
    • ET_0 Gama tradicional - Faixa de luminância SDR: não mapeado para qualquer tipo de HDR
    • ET_1 Gama tradicional - Faixa de luminância HDR: não mapeado para nenhum tipo de HDR
    • ET_2 SMPTE ST 2084 - mapeado para HDR tipo HDR10
  • A sinalização de suporte Dolby Vision ou HLG sobre HDMI é feita conforme definido por seus órgãos competentes.
  • Observe que a API HWC2 usa valores flutuantes de luminância desejados, portanto, os valores EDID de 8 bits devem ser traduzidos de maneira adequada.

Decodificadores

As plataformas devem adicionar decodificadores em túnel compatíveis com HDR e anunciar seu suporte a HDR. Geralmente, os decodificadores compatíveis com HDR devem:

  • Suporte túnel decodificação ( FEATURE_TunneledPlayback ).
  • Metadados apoio HDR estático ( OMX.google.android.index.describeHDRColorInfo ) e sua propagação para a composição display / hardware. Para HLG, os metadados apropriados devem ser enviados ao monitor.
  • Descrição da cor Support ( OMX.google.android.index.describeColorAspects ) e sua propagação para a composição display / hardware.
  • Suporta metadados integrados de HDR conforme definido pelo padrão relevante.

Suporte para decodificador Dolby Vision

Para suportar Dolby Vision, as plataformas devem adicionar um decodificador HDR OMX compatível com Dolby-Vision. Dadas as especificidades do Dolby Vision, este é normalmente um decodificador wrapper em torno de um ou mais decodificadores AVC e / ou HEVC, bem como um compositor. Esses decodificadores devem:

  • Suporta o tipo mime "video / dolby-vision".
  • Anuncie perfis / níveis Dolby Vision suportados.
  • Aceite unidades de acesso que contêm as unidades de subacesso de todas as camadas, conforme definido pela Dolby.
  • Aceite os dados específicos do codec definidos pela Dolby. Por exemplo, dados contendo perfil / nível Dolby Vision e possivelmente os dados específicos do codec para os decodificadores internos.
  • Suporta comutação adaptável entre perfis / níveis Dolby Vision, conforme exigido pelo Dolby.

Ao configurar o decodificador, o perfil Dolby real não é comunicado ao codec. Isso só é feito por meio de dados específicos do codec após o decodificador ter sido iniciado. Uma plataforma pode escolher suportar vários decodificadores Dolby Vision: um para perfis AVC e outro para perfis HEVC para poder inicializar codecs subjacentes durante o tempo de configuração. Se um único decodificador Dolby Vision oferece suporte a ambos os tipos de perfis, ele também deve oferecer suporte à alternância entre eles de forma adaptativa.

Se uma plataforma fornece um decodificador compatível com Dolby-Vision, além do suporte para decodificador HDR geral, ela deve:

  • Fornece um extrator compatível com Dolby-Vision, mesmo que não suporte reprodução HDR.
  • Fornece um decodificador que suporta o perfil de visão conforme definido pela Dolby.

Suporte para decodificador HDR10

Para suportar HDR10, as plataformas devem adicionar um decodificador OMX compatível com HDR10. Este é normalmente um decodificador HEVC tunelizado que também suporta análise e tratamento de metadados relacionados a HDMI. Esse decodificador (além do suporte para decodificador HDR geral) deve:

  • Suporta o tipo mime "video / hevc."
  • Anuncie HEVCMain10HDR10 compatível. O suporte do perfil HEVCMain10HRD10 também requer o suporte do perfil HEVCMain10, que exige o suporte do perfil HEVCMain nos mesmos níveis.
  • Suporta a análise dos blocos SEI de metadados de masterização, bem como outras informações relacionadas ao HDR contidas no SPS.

Suporte para decodificador VP9

Para suportar VP9 HDR, as plataformas devem adicionar um decodificador HDR OMX compatível com VP9 Profile2. Este é normalmente um decodificador VP9 tunelizado que também suporta o manuseio de metadados relacionados a HDMI. Esses decodificadores (além do suporte geral para decodificadores HDR) devem:

  • Suporta o tipo mime "video / x-vnd.on2.vp9."
  • Anuncie VP9Profile2HDR compatível. O suporte ao perfil VP9Profile2HDR também requer o suporte ao perfil VP9Profile2 no mesmo nível.

Extratores

Suporte extrator Dolby Vision

As plataformas que suportam decodificadores Dolby Vision devem adicionar suporte Dolby Extractor (chamado Dolby Extractor) para conteúdo Dolby Video.

  • Um extrator MP4 comum só pode extrair a camada de base de um arquivo, mas não as camadas de aprimoramento ou metadados. Portanto, um extrator Dolby especial é necessário para extrair os dados do arquivo.
  • O extrator Dolby deve expor 1 a 2 trilhas para cada trilha de vídeo Dolby (grupo):
    • Uma trilha Dolby Vision HDR com o tipo de "vídeo / dolby-vision" para o fluxo combinado Dolby de 2/3 camadas. O formato de unidade de acesso da trilha HDR, que define como empacotar as unidades de acesso das camadas de base / aprimoramento / metadados em um único buffer para ser decodificado em um único quadro HDR, deve ser definido pela Dolby.
    • Se uma trilha de vídeo Dolby Vision contiver uma camada de base (BL) separada (compatível com versões anteriores), o extrator também deve expô-la como uma trilha "video / avc" ou "video / hevc" separada. O extrator deve fornecer unidades de acesso AVC / HEVC regulares para esta trilha.
    • A trilha BL deve ter o mesmo track-unique-ID ("track-ID") que a trilha HDR para que o aplicativo entenda que essas são duas codificações do mesmo vídeo.
    • O aplicativo pode decidir qual trilha escolher com base na capacidade da plataforma.
  • O perfil / nível Dolby Vision deve ser exposto no formato da trilha HDR.
  • Se uma plataforma fornece um decodificador compatível com Dolby-Vision, ela também deve fornecer um extrator compatível com Dolby-Vision, mesmo que não ofereça suporte à reprodução HDR.

Suporte para extrator HDR10 e VP9 HDR

Não há requisitos adicionais de extrator para oferecer suporte a HDR10 ou VP9 HLG. As plataformas devem estender o extrator MP4 para suportar VP9 PQ em MP4. Os metadados estáticos de HDR devem ser propagados no fluxo de bits VP9 PQ, de modo que esses metadados sejam passados ​​para o decodificador VP9 PQ e para a exibição por meio do MediaExtractor => pipeline MediaCodec normal.

Extensões Stagefright para suporte Dolby Vision

As plataformas devem adicionar suporte ao formato Dolby Vision para Stagefright:

  • Suporte para consulta de definição de porta para porta compactada.
  • Suporte para enumeração de perfil / nível para decodificador DV.
  • Suporta a exposição de perfil / nível DV para trilhas DV HDR.

Detalhes de implementação específicos da tecnologia

Pipeline de decodificador HDR10

Figura 1. oleoduto HDR10

Os fluxos de bits HDR10 são empacotados em contêineres MP4. Os aplicativos usam um extrator MP4 comum para extrair os dados do quadro e enviá-los ao decodificador.

  • Extrator MPEG4
    Os fluxos de bits HDR10 são reconhecidos apenas como um fluxo HEVC normal por um MPEG4Extractor e a faixa HDR com o tipo "vídeo / HEVC" será extraída. A estrutura escolhe um decodificador de vídeo HEVC compatível com o perfil Main10HDR10 para decodificar essa faixa.
  • Decodificador HEVC
    As informações de HDR estão em SEI ou SPS. O decodificador HEVC primeiro recebe os quadros que contêm as informações de HDR. O decodificador então extrai as informações HDR e notifica o aplicativo que está decodificando um vídeo HDR. As informações de HDR são agrupadas no formato de saída do decodificador, que é propagado para a superfície posteriormente.

Ações do fornecedor

  1. Anuncie o perfil de decodificador HDR compatível e o tipo de nível OMX. Exemplo:
    OMX_VIDEO_HEVCProfileMain10HDR10 (e Main10 )
  2. Implementar o suporte para o índice: ' OMX.google.android.index.describeHDRColorInfo '
  3. Implementar o suporte para o índice: ' OMX.google.android.index.describeColorAspects '
  4. Implementar suporte para análise SEI de metadados de masterização.

Pipeline de decodificador Dolby Vision

Oleoduto Figura 2. Dolby Visão

Os fluxos de bits Dolby são empacotados em contêineres MP4 conforme definido pela Dolby. Os aplicativos poderiam, em teoria, usar um extrator MP4 comum para extrair a camada de base, a camada de aprimoramento e a camada de metadados de forma independente; no entanto, isso não se encaixa no modelo atual do Android MediaExtractor / MediaCodec.

  • DolbyExtractor:
    • Os fluxos de bits Dolby são reconhecidos por um DolbyExtractor, que expõe as várias camadas como 1 a 2 faixas para cada faixa de vídeo dolby (grupo):
      • Uma trilha HDR com o tipo de "video / dolby-vision" para o fluxo combinado de dolby de 2/3 camadas. O formato de unidade de acesso da trilha HDR, que define como empacotar as unidades de acesso das camadas de base / aprimoramento / metadados em um único buffer para ser decodificado em um único quadro HDR, deve ser definido pela Dolby.
      • (Opcional, somente se o BL for compatível com versões anteriores) Uma trilha BL contém apenas a camada de base, que deve ser decodificável pelo decodificador MediaCodec regular, por exemplo, decodificador AVC / HEVC. O extrator deve fornecer unidades de acesso AVC / HEVC regulares para esta trilha. Esta trilha BL deve ter o mesmo track-unique-ID ("track-ID") que a trilha Dolby para que o aplicativo entenda que essas são duas codificações do mesmo vídeo.
    • O aplicativo pode decidir qual trilha escolher com base na capacidade da plataforma.
    • Como uma trilha HDR tem um tipo específico de HDR, a estrutura escolherá um decodificador de vídeo Dolby para decodificar essa trilha. A faixa BL será decodificada por um decodificador de vídeo AVC / HEVC normal.
  • DolbyDecoder:
    • O DolbyDecoder recebe unidades de acesso que contêm as unidades de acesso necessárias para todas as camadas (EL + BL + MD ou BL + MD)
    • As informações de CSD (dados específicos de codec, como SPS + PPS + VPS) para as camadas individuais podem ser empacotadas em 1 quadro CSD a ser definido por Dolby. É necessário ter um único quadro CSD.

Ações Dolby

  1. Defina o pacote de unidades de acesso para os vários esquemas de contêiner Dolby (por exemplo, BL + EL + MD) para o decodificador Dolby abstrato (ou seja, o formato de buffer esperado pelo decodificador HDR).
  2. Defina o pacote de CSD para o decodificador Dolby abstrato.

Ações do fornecedor

  1. Implementar extrator Dolby. Isso também pode ser feito por Dolby.
  2. Integre DolbyExtractor na estrutura. O ponto de entrada é frameworks/av/media/libstagefright/MediaExtractor.cpp .
  3. Declare o perfil do decodificador HDR e o tipo de nível OMX. Exemplo: OMX_VIDEO_DOLBYPROFILETYPE e OMX_VIDEO_DOLBYLEVELTYP .
  4. Implementar o suporte para o índice: 'OMX.google.android.index.describeColorAspects '
  5. Propagar os metadados HDR dinâmicos para o aplicativo e aparecer em cada quadro. Normalmente, essas informações devem ser empacotadas no quadro decodificado conforme definido pelo Dolby, porque o padrão HDMI não fornece uma maneira de passar isso para o monitor.

Pipeline de decodificador VP9

Figura oleoduto 3. VP9-PQ

Os fluxos de bits VP9 são empacotados em contêineres WebM de uma forma definida pela equipe WebM. Os aplicativos precisam usar um extrator WebM para extrair metadados HDR do fluxo de bits antes de enviar quadros para o decodificador.

  • Extrator WebM:
  • Descodificador VP9:
    • O decodificador recebe fluxos de bits do Perfil2 e os decodifica como fluxos normais de VP9.
    • O decodificador recebe qualquer metadado estático HDR da estrutura.
    • O decodificador recebe metadados estáticos por meio das unidades de acesso de fluxo de bits para fluxos VP9 PQ.
    • O decodificador VP9 deve ser capaz de propagar os metadados estáticos / dinâmicos HDR para a tela.

Ações do fornecedor

  1. Implementar o suporte para o índice: OMX.google.android.index.describeHDRColorInfo
  2. Implementar o suporte para o índice: OMX.google.android.index.describeColorAspects
  3. Propagar metadados estáticos HDR