Transmissão simultânea de câmeras

O Android permite que os dispositivos suportem streaming simultâneo de dispositivos de câmera. Por exemplo, isso permite que um dispositivo tenha as câmeras frontal e traseira operando ao mesmo tempo. A partir do Android 11, a API Camera2 inclui os seguintes métodos que os aplicativos podem chamar para determinar se as câmeras são compatíveis com streaming simultâneo e as configurações de streaming compatíveis.

• getConcurrentCameraIds : Obtém o conjunto de combinações de identificadores de dispositivos de câmera atualmente conectados que dão suporte à configuração de sessões de dispositivos de câmera simultaneamente.
• isConcurrentSessionConfigurationSupported : verifica se o conjunto fornecido de dispositivos de câmera e suas configurações de sessão correspondentes podem ser configurados simultaneamente.

Um conjunto de combinações de fluxo obrigatórias que devem ser suportadas durante o fluxo simultâneo é incluído por meio das características da câmera de um dispositivo de câmera na propriedade SCALER_MANDATORY_CONCURRENT_STREAM_COMBINATIONS .

Cada dispositivo de câmera anunciado por meio de getConcurrentStreamingCameraIds() deve ser compatível com as seguintes configurações garantidas para streams simultâneos.

Dispositivos com o recurso MONOCHROME ( CameraCharacteristics#REQUEST_AVAILABLE_CAPABILITIES inclui CameraMetadata#REQUEST_AVAILABLE_CAPABILITIES_MONOCHROME ) que suporta Y8 deve suportar a substituição de fluxos YUV por Y8 em todas as combinações de fluxo garantidas.

s720p refere-se a 720p (1280 x 720) ou à resolução máxima suportada para o formato específico retornado por StreamConfigurationMap.getOutputSizes() . s1440p refere-se a 1440p (1920 x 1440) ou a resolução máxima suportada para o formato específico retornado por StreamConfigurationMap.getOutputSizes() . Os dispositivos cujos recursos não incluem ANDROID_REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE devem oferecer suporte a pelo menos um único fluxo Y16, Dataspace::DEPTH com resolução sVGA, durante a operação simultânea, em que sVGA é a menor das duas resoluções a seguir:

• resolução máxima de saída para o formato fornecido
• 640 x 480

Implementação

Para permitir que os aplicativos consultem um dispositivo para determinar se suas câmeras suportam streaming simultâneo, implemente a interface ICameraProvider@2.6 HAL, que inclui os seguintes métodos:

• getConcurrentStreamingCameraIds
• isConcurrentStreamCombinationSupported

Para obter uma implementação de referência da interface ICameraProvider@2.6 HAL, consulte a biblioteca HAL de câmera emulada em EmulatedCameraProviderHWLImpl.cpp .

Validação

Para testar se sua implementação desse recurso funciona conforme o esperado, use o teste ConcurrentCameraTest.java CTS. Além disso, teste usando um aplicativo que abra várias câmeras e as opere simultaneamente.

Problemas de alocação de recursos

Se os HALs de câmera anunciarem suporte para operação simultânea de dispositivos de câmera, eles podem ter problemas de alocação de recursos, especialmente no caso em que há recursos de processador de sinal de imagem (ISP) suficientes no telefone para transmitir as câmeras frontal e traseira (ou outras) simultaneamente , mas não em sua capacidade total. Nesse caso, o HAL da câmera deve alocar recursos de hardware limitados para cada dispositivo de câmera.

Exemplo de cenário

O cenário a seguir demonstra esse problema.

Problema

O dispositivo tem a seguinte configuração:

• A ID de câmera 0 é uma câmera lógica apoiada por uma câmera ampla e ultralarga, cada uma com um recurso de ISP.
• A ID da câmera 1 é uma câmera que usa um recurso de ISP.

O dispositivo (telefone) tem dois ISPs. Se a ID da câmera 0 for aberta e uma sessão for configurada, é possível que o HAL da câmera reserve dois ISPs antecipando o uso da câmera ultrawide e wide.

Se for esse o caso, a câmera frontal (ID 1 ) não pode configurar nenhum fluxo porque ambos os ISPs estão em uso.

Solução

Para resolver esse problema, a estrutura pode abrir as IDs de câmera 0 e 1 antes de configurar as sessões para fornecer uma dica ao HAL da câmera sobre como alocar recursos (porque agora espera operação simultânea de câmeras). No entanto, isso pode levar a recursos limitados, por exemplo, o zoom pode não ser capaz de lidar com a taxa de alcance total do zoom (porque a troca de IDs físicos da câmera pode ser problemática).

Para implementar esta solução, faça as seguintes atualizações em provider@2.6::ICameraProvider::getConcurrentCameraStreamingCameraIds .

• Determina que, para operação simultânea de câmeras, a estrutura da câmera deve abrir dispositivos de câmera ( @3.2::ICameraDevice::open ) antes de configurar qualquer sessão nos dispositivos de câmera. Isso permite que os provedores de câmeras aloquem recursos adequadamente.

• Para resolver o problema de não ser capaz de lidar com a taxa de alcance total do zoom, certifique-se de que os aplicativos de câmera, ao usar câmeras simultaneamente, tenham a garantia de usar a configuração de controle ZOOM_RATIO entre apenas 1x e MAX_DIGITAL_ZOOM em vez do ZOOM_RATIO_RANGE completo (isso evita a troca de câmeras físicas internamente, o que potencialmente requer mais ISPs).

Problema com testDualCameraPreview

Quando você faz as atualizações acima, pode criar um problema com um comportamento permitido pelo teste MultiViewTest.java#testDualCameraPreview .

O teste testDualCameraPreview não configura sessões somente após a abertura de todas as câmeras. Segue esta sequência:

for each camera  in cameraDevices :
  device = openCamera(camera)
     createCaptureSession(device);

No entanto, tolera falhas na abertura da câmera com ERROR_MAX_CAMERAS_IN_USE [1] . Aplicativos de terceiros podem depender desse comportamento.

Como o HAL da câmera não saberá o conjunto completo de IDs de câmera sendo aberto para operação simultânea antes de configurar as sessões, pode ser difícil para ele alocar recursos de hardware (supondo que haja alguma competição por eles).

Para resolver esse problema, mantendo a compatibilidade com versões anteriores, além de oferecer suporte ao streaming simultâneo, os HALs da câmera devem falhar nas chamadas openCamera com ERROR_MAX_CAMERAS_IN_USE se não puderem oferecer suporte à configuração de fluxo completo para todas as câmeras sendo executadas simultaneamente.