Câmera

Ícone da HAL da câmera do Android

A camada de abstração de hardware (HAL) da câmera do Android conecta as APIs de framework de câmera de nível superior em Camera 2 ao driver e hardware da câmera. O subsistema de câmera inclui implementações para componentes do pipeline de câmera, enquanto o HAL de câmera fornece interfaces para uso na implementação da sua versão desses componentes.

Arquitetura

A figura e a lista a seguir descrevem os componentes da HAL.

Arquitetura da câmera do Android

Figura 1. Arquitetura da câmera

framework de app
No nível da estrutura do app, está o código dele, que usa a API Camera2 para interagir com o hardware da câmera. Internamente, esse código chama as interfaces Binder correspondentes para acessar o código nativo que interage com a câmera.
AIDL
A interface do binder associada a CameraService pode ser encontrada em frameworks/av/camera/aidl/android/hardware. O código gerado chama o código nativo de nível inferior para acessar a câmera física e retorna dados usados para criar os objetos CameraDevice e, por fim, CameraCaptureSession no nível do framework.
framework nativo
Esse framework, que reside em frameworks/av/, fornece um equivalente nativo às classes CameraDevice e CameraCaptureSession. Consulte também a referência do NDK camera2.
Interface IPC do Binder
A interface do binder IPC facilita a comunicação entre limites de processos. Há várias classes de vinculação de câmera localizadas no diretório frameworks/av/camera/camera/aidl/android/hardware que chamam o serviço de câmera. ICameraService é a interface para o serviço de câmera; ICameraDeviceUser é a interface para um dispositivo de câmera aberto específico; e ICameraServiceListener e ICameraDeviceCallbacks são os callbacks CameraService e CameraDevice respectivos para o framework do app.
serviço de câmera
O serviço de câmera, localizado em frameworks/av/services/camera/libcameraservice/CameraService.cpp, é o código real que interage com a HAL.
HAL
A camada de abstração de hardware define a interface padrão que o serviço de câmera chama e que você precisa implementar para que o hardware da câmera funcione corretamente.

Implementar a HAL

A HAL fica entre o driver da câmera e a estrutura do Android de nível mais alto e define uma interface que você precisa implementar para que os apps possam operar corretamente o hardware da câmera. As interfaces HIDL para a HAL da câmera são definidas em hardware/interfaces/camera.

Uma HAL binderizada típica precisa implementar as seguintes interfaces HIDL:

Implementações de referência do HIDL estão disponíveis para CameraProvider.cpp, CameraDevice.cpp e CameraDeviceSession.cpp. A implementação inclui HALs antigos que ainda usam a API legada. A partir do Android 8.0, as implementações da HAL de câmera precisam usar a API HIDL. O uso da interface legada não é compatível.

Validação de entrada

Como a HAL tem acesso a recursos diferentes do serviço de câmera, o limite entre os dois é tratado como um limite de segurança. Isso significa que os parâmetros transmitidos do serviço de câmera são considerados não confiáveis e não higienizados. Para evitar vulnerabilidades de segurança que permitam que invasores escalonem privilégios ou acessem dados que não deveriam ter acesso, a HAL da câmera precisa validar os parâmetros transmitidos do serviço de câmera para a HAL. Isso inclui verificar se os valores de comprimento do buffer estão dentro dos intervalos permitidos e limpar os parâmetros antes do uso e antes de transmiti-los a drivers de hardware ou kernel.

Componentes da HAL legada

Esta seção descreve a arquitetura dos componentes HAL legados e como implementar o HAL. As implementações da HAL da câmera no Android 8.0 e versões mais recentes precisam usar a API HIDL, descrita acima.

Arquitetura (legado)

A figura e a lista a seguir descrevem os componentes legados da HAL da câmera.

Arquitetura da câmera do Android

Figura 2. Arquitetura de câmera legada

framework de app
No nível do framework do app, está o código do app, que usa a API android.hardware.Camera para interagir com o hardware da câmera. Internamente, esse código chama uma classe de junção JNI correspondente para acessar o código nativo que interage com a câmera.
JNI
O código JNI associado a android.hardware.Camera está localizado em frameworks/base/core/jni/android_hardware_Camera.cpp. Esse código chama o código nativo de nível mais baixo para acessar a câmera física e retorna dados usados para criar o objeto android.hardware.Camera no nível do framework.
framework nativo
O framework nativo definido em frameworks/av/camera/Camera.cpp fornece um equivalente nativo à classe android.hardware.Camera. Essa classe chama os proxies de vinculação IPC para acessar o serviço de câmera.
proxies IPC binder
Os proxies de vinculação do IPC facilitam a comunicação entre limites de processos. Há três classes de vinculação de câmera localizadas no diretório frameworks/av/camera que chama o serviço de câmera. ICameraService é a interface para o serviço de câmera, ICamera é a interface para um dispositivo de câmera aberto específico, e ICameraClient é a interface do dispositivo de volta para o framework do app.
serviço de câmera
O serviço de câmera, localizado em frameworks/av/services/camera/libcameraservice/CameraService.cpp, é o código real que interage com a HAL.
HAL
A camada de abstração de hardware define a interface padrão que o serviço de câmera chama e que você precisa implementar para que o hardware da câmera funcione corretamente.
driver do kernel
O driver da câmera interage com o hardware real da câmera e sua implementação da HAL. A câmera e o driver precisam ser compatíveis com os formatos de imagem YV12 e NV21 para oferecer suporte à visualização da imagem da câmera na tela e à gravação de vídeo.

Implementar a HAL (legado)

A HAL fica entre o driver da câmera e a estrutura do Android de nível mais alto e define uma interface que você precisa implementar para que os apps possam operar corretamente o hardware da câmera. A interface HAL é definida nos arquivos de cabeçalho hardware/libhardware/include/hardware/camera.h e hardware/libhardware/include/hardware/camera_common.h.

camera_common.h define camera_module, uma estrutura padrão para obter informações gerais sobre a câmera, como o ID e propriedades comuns a todas as câmeras (ou seja, se é uma câmera frontal ou traseira).

camera.h contém código que corresponde a android.hardware.Camera. Esse arquivo de cabeçalho declara uma struct camera_device que, por sua vez, contém uma struct camera_device_ops com ponteiros para funções que implementam a interface HAL. Para documentação sobre os parâmetros da câmera que os desenvolvedores podem definir, consulte frameworks/av/include/camera/CameraParameters.h. Esses parâmetros são definidos com a função apontada por int (*set_parameters)(struct camera_device *, const char *parms) na HAL.

Para um exemplo de implementação de HAL, consulte a implementação do HAL do Galaxy Nexus em hardware/ti/omap4xxx/camera.

Configurar a biblioteca compartilhada

Configure o sistema de build do Android para empacotar corretamente a implementação da HAL em uma biblioteca compartilhada e copie para o local apropriado criando um arquivo Android.mk:

  1. Crie um diretório device/<company_name>/<device_name>/camera para conter os arquivos de origem da biblioteca.
  2. Crie um arquivo Android.mk para criar a biblioteca compartilhada. Verifique se o makefile contém as seguintes linhas:
    LOCAL_MODULE := camera.<device_name>
    LOCAL_MODULE_RELATIVE_PATH := hw
    

    A biblioteca precisa ser chamada de camera.<device_name> (.so é anexado automaticamente) para que o Android possa carregar a biblioteca corretamente. Para ver um exemplo, consulte o makefile da câmera do Galaxy Nexus em hardware/ti/omap4xxx/Android.mk.

  3. Especifique que seu dispositivo tem recursos de câmera copiando os arquivos XML de recursos necessários no diretório frameworks/native/data/etc com o makefile do dispositivo. Por exemplo, para especificar que o dispositivo tem um flash de câmera e pode usar o foco automático, adicione as seguintes linhas ao makefile <device>/<company_name>/<device_name>/device.mk do dispositivo:
    PRODUCT_COPY_FILES := \ ...
    
    PRODUCT_COPY_FILES += \
    frameworks/native/data/etc/android.hardware.camera.flash-autofocus.xml:system/etc/permissions/android.hardware.camera.flash-autofocus.xml \
    

    Para conferir um exemplo de makefile de dispositivo, consulte device/samsung/tuna/device.mk.

  4. Declare os recursos de codec, formato e resolução de mídia da câmera nos arquivos XML device/<company_name>/<device_name>/media_profiles.xml e device/<company_name>/<device_name>/media_codecs.xml. Para mais detalhes, consulte Expor codecs ao framework.
  5. Adicione as seguintes linhas ao arquivo makefile device/<company_name>/<device_name>/device.mk do dispositivo para copiar os arquivos media_profiles.xml e media_codecs.xml para o local apropriado:
    # media config xml file
    PRODUCT_COPY_FILES += \
        <device>/<company>/<device>/media_profiles.xml:system/etc/media_profiles.xml
    
    # media codec config xml file
    PRODUCT_COPY_FILES += \
        <device>/<company>/<device>/media_codecs.xml:system/etc/media_codecs.xml
    
  6. Para incluir o app Câmera na imagem do sistema do dispositivo, especifique-o na variável PRODUCT_PACKAGES no arquivo makefile device/<company>/<device>/device.mk do dispositivo:
    PRODUCT_PACKAGES := \
    Gallery2 \
    ...