Configurações de streaming

O Android inclui recursos que permitem que clientes de câmera escolham os streams de câmera ideais para casos de uso específicos e garantam que determinadas combinações de streaming sejam compatíveis com o dispositivo de câmera. Uma configuração de stream se refere a um único stream de câmera configurado no dispositivo de câmera, e uma combinação de stream se refere a um ou mais conjuntos de streams configurados no dispositivo de câmera. Para saber mais sobre esses recursos, consulte configurações de stream recomendadas e API para consultar combinações de recursos.

Implementação de referência

Há uma implementação de referência do fornecedor dos fluxos de configuração recomendados e da API para consultar recursos de combinação de fluxo. Você pode encontrar essa implementação em QCamera3HWI.cpp.

Os fornecedores de câmeras podem anunciar as configurações de streaming recomendadas para casos de uso específicos aos clientes de câmera. Essas configurações de stream recomendadas, que são subconjuntos de StreamConfigurationMap, podem ajudar os clientes da câmera a escolher as configurações ideais.

Embora StreamConfigurationMap forneça informações completas de configuração de stream para clientes de câmera, ele não fornece informações sobre os impactos de eficiência, energia ou desempenho de escolher um stream em vez de outro. Os clientes da câmera podem escolher livremente entre todas as configurações de transmissão possíveis, mas, em muitos casos, isso leva os clientes a usar configurações de câmera subótimas e apps a fazer pesquisas exaustivas demoradas.

Por exemplo, embora alguns formatos YUV processados sejam necessários e precisem ser compatíveis, o dispositivo da câmera pode não ter suporte nativo para os formatos. Isso resulta em uma passagem de processamento adicional para a conversão de formato e reduz a eficiência. O tamanho e a proporção correspondente também podem ter um impacto semelhante, tornando determinadas dimensões mais recomendáveis em termos de potência e desempenho.

Os mapas de configuração de fluxo recomendados não precisam ser exaustivos em comparação com o StreamConfigurationMap. Os mapas de configuração sugeridos precisam seguir os requisitos na seção implementação e podem incluir qualquer um dos formatos, tamanhos ou outros valores disponíveis em StreamConfigurationMap. Formatos, tamanhos ou outros valores ocultos que não são encontrados no StreamConfigurationMap não podem ser incluídos nos mapas de configuração de transmissão recomendados.

Todos os testes permanecem inalterados e não são relaxados, dependendo das configurações de transmissão recomendadas.

As configurações de streaming recomendadas fornecidas pela implementação da câmera são opcionais e o cliente da câmera pode ignorá-las.

Implementação

Siga estas etapas para implementar esse recurso.

Entradas de metadados

Para ativar esse recurso, a HAL da câmera precisa preencher as seguintes entradas de metadados estáticos:

  • android.scaler.availableRecommendedStreamConfigurations: o subconjunto recomendado de configurações de stream para casos de uso específicos. A declaração usa bitmaps que indicam os casos de uso sugeridos na forma de [1 << PREVIEW | 1 << RECORD..]. Os casos de uso estendem a tupla regular (formato, largura, altura, entrada) com uma entrada extra. Casos de uso públicos inexistentes ou quaisquer outros bits definidos no intervalo [PUBLIC_END, VENDOR_START] são proibidos.

    Essas informações são armazenadas na tag de metadados availableRecommendedStreamConfigurations.

    O exemplo a seguir mostra uma matriz para uma configuração de transmissão recomendada para um dispositivo de câmera que oferece suporte apenas a 4K e 1080p, em que ambas as resoluções são preferidas para gravação de vídeo, mas apenas 1080p é sugerida para visualização.

    [3840, 2160, HAL_PIXEL_FORMAT_IMPLEMENTATION_DEFINED,
ANDROID_SCALER_AVAILABLE_STREAM_CONFIGURATIONS_OUTPUT,
(1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_RECORD |
1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_SNAPSHOT |
1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_VIDEO_SNAPSHOT),
1920, 1080, HAL_PIXEL_FORMAT_IMPLEMENTATION_DEFINED,
ANDROID_SCALER_AVAILABLE_STREAM_CONFIGURATIONS_OUTPUT,
(1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_PREVIEW |
1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_RECORD |
1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_SNAPSHOT |
1 << ANDROID_SCALER_AVAILABLE_RECOMMENDED_STREAM_CONFIGURATIONS_VIDEO_SNAPSHOT)]

  • android.depth.availableRecommendedDepthStreamConfigurations (disponível apenas se houver suporte do dispositivo): as configurações de stream do espaço de dados de profundidade recomendadas para esse dispositivo de câmera. Semelhante à entrada de metadados acima, um bitmap de caso de uso adicional indica os casos de uso sugeridos.

    Essas informações são armazenadas na tag de metadados availableRecommendedInputOutputFormatsMap.

  • android.scaler.availableRecommendedInputOutputFormatsMap (disponível somente se tiver suporte do dispositivo): o mapeamento de formatos de imagem recomendados que são sugeridos para esse dispositivo de câmera para streams de entrada para os formatos de saída correspondentes.

    Essas informações são armazenadas na tag de metadados availableRecommendedDepthStreamConfigurations.

Essas informações estão disponíveis para clientes de câmera pela API RecommendedStreamConfigurationMap.

Casos de uso obrigatórios

As configurações de stream recomendadas precisam ser fornecidas para os seguintes casos de uso e atender aos requisitos correspondentes:

Caso de uso Requisito
PREVIEW Uma prévia só pode incluir configurações de stream processadas sem interrupção com formatos de saída, como YUV_420_888 e IMPLEMENTATION_DEFINED.
RECORD Um registro de vídeo precisa incluir configurações de stream que correspondam aos perfis de mídia compatíveis anunciados com o formato IMPLEMENTATION_DEFINED.
VIDEO_SNAPSHOT Um snapshot de vídeo precisa incluir configurações de fluxo que sejam pelo menos tão grandes quanto as resoluções de GRAVAÇÃO máximas e apenas com a combinação de formato/espaço de dados BLOB + DATASPACE_JFIF (JPEG). As configurações não podem causar falhas na visualização e precisam ser executadas a 30 fps.
SNAPSHOT As configurações do stream de snapshots precisam incluir pelo menos uma com um tamanho próximo a android.sensor.info.activeArraySize com a combinação de formato/dataspace BLOB + DATASPACE_JFIF (JPEG). Levando em conta as restrições de proporção, alinhamento e outras restrições específicas do fornecedor, a área do tamanho máximo sugerido não pode ser inferior a 97% da área do tamanho do sensor.
ZSL (se houver suporte) Se o dispositivo de câmera oferecer suporte, as configurações recomendadas do stream de entrada só poderão ser anunciadas com outros formatos de saída processados ou em pausa.
RAW (se houver suporte) Se o dispositivo de câmera oferecer suporte, as configurações recomendadas de fluxo bruto precisam incluir apenas formatos de saída baseados em RAW.

Outros casos de uso

Você pode fornecer outros fluxos de configuração recomendados para casos de uso específicos da sua implementação.

Validação

Para testar a implementação dos streams de configuração recomendados, execute os seguintes testes CTS e VTS:

API para consultar combinações de recursos

A partir do Android 15, a plataforma Android oferece uma API para consultar combinações de recursos. Essa API permite que os clientes de câmera consultem se uma combinação específica de recursos pode ser compatível com o dispositivo. Essa API é necessária porque a API Camera2 modela diferentes recursos, como 4K, 60 fps, vídeo HDR, UltraHDR, zoom ultraamplo e estabilização como controles ortogonais.

Requisitos

Para oferecer suporte à API para consultar combinações de recursos, o HAL da câmera precisa implementar a versão 3 da interface ICameraDevice. Para mais detalhes, consulte a seção Implementação.

Quando a API tiver suporte, a estabilização de visualização precisa ser ortogonal a outros recursos. Isso significa que, para um dispositivo de câmera que oferece suporte à estabilização de visualização, o valor de retorno de isStreamCombinationWithSettingsSupported para uma combinação específica precisa ser o mesmo valor quando a estabilização de visualização está ativada ou desativada. Isso reduz o espaço de pesquisa para consultas de combinação de recursos.

Além disso, para a classe 15 de performance de mídia, a câmera traseira principal precisa oferecer suporte à estabilização de visualização com visualização HLG10 de 10 bits para visualização de 1080p e 720p e JPEGs de tamanho máximo. Para mais detalhes sobre esses requisitos, consulte a seção 2.2.7.2. Câmera do CDD.

Implementação

Para oferecer suporte à API para consultar combinações de recursos, implemente as seguintes APIs de consulta de combinação de recursos na versão 3 de ICameraDevice:

Para versões anteriores à 3 da interface ICameraDevice, o HAL precisa implementar o método isStreamCombinationSupported.

Para mais informações sobre as combinações de recursos consultados pela API, consulte a documentação sobre sessionConfigurationQueryVersion em system/media/camera/docs/metadata_definitions.xml.

Para conferir uma implementação de referência desse recurso, consulte hardware/google/camera/devices/EmulatedCamera/hwl/.

APIs públicas

Os apps podem usar as seguintes APIs públicas para consultar combinações de recursos compatíveis com o dispositivo:

  • CameraDevice.CameraDeviceSetup: uma representação limitada de CameraDevice que pode ser usada para consultar combinações de recursos sem exigir uma instância de CameraDevice.

  • getCameraDeviceSetup: adquire um objeto CameraDeviceSetup para um determinado ID da câmera se isCameraDeviceSetupSupported retornar true.

  • INFO_SESSION_CONFIGURATION_QUERY_VERSION: aceita consultas de combinação de elementos se esse valor for VANILLA_ICE_CREAM ou maior.

  • OutputConfiguration: uma classe que descreve a saída da câmera, que pode conter uma superfície adiada para consultas de combinação de recursos de baixa latência.

  • SessionConfiguration: uma classe de utilitário que descreve a configuração da sessão, incluindo combinações de fluxo e parâmetros de sessão, que podem ser usados para consultas de combinação de recursos.

Validação

Para validar a implementação desse recurso, use os seguintes testes de VTS, CTS e ITS da câmera (CTS Verifier):

VTS

CTS

Camera ITS