Implementar el compositor de hardware HAL

Hardware Composer (HWC) HAL compone las capas recibidas de SurfaceFlinger, lo que reduce la cantidad de composición que realizan OpenGL ES (GLES) y la GPU.

El HWC abstrae objetos, como superposiciones y blitters 2D, en superficies compuestas y se comunica con hardware especializado en composición de ventanas para componer ventanas. Utilice el HWC para componer ventanas en lugar de utilizar SurfaceFlinger para componer con la GPU. La mayoría de las GPU no están optimizadas para la composición y, cuando la GPU compone capas desde SurfaceFlinger, las aplicaciones no pueden usar la GPU para su propia renderización.

Las implementaciones de HWC deben admitir:

  • Al menos cuatro superposiciones:
    • Barra de estado
    • barra del sistema
    • Aplicación
    • Fondo de pantalla/fondo
  • Capas que son más grandes que la pantalla (por ejemplo, un fondo de pantalla)
  • Combinación alfa por píxel premultiplicada y combinación alfa por plano simultáneas
  • Ruta de hardware para reproducción de vídeo protegida
  • Orden de embalaje RGBA, formatos YUV y propiedades de mosaico, movimiento y zancada

Para implementar el HWC:

  1. Implementar un HWC no operativo y enviar todo el trabajo de composición a GLES.
  2. Implementar un algoritmo para delegar la composición al HWC de forma incremental. Por ejemplo, delegue solo las primeras tres o cuatro superficies al hardware superpuesto del HWC.
  3. Optimice el HWC. Esto puede incluir:
    • Seleccionar superficies que maximicen la carga quitada a la GPU y enviarlas al HWC.
    • Detectando si la pantalla se está actualizando. Si no es así, delegue la composición a GLES en lugar de HWC para ahorrar energía. Cuando la pantalla se actualice nuevamente, continúe descargando la composición al HWC.
    • Preparación para casos de uso comunes como:
      • La pantalla de inicio, que incluye la barra de estado, la barra del sistema, la ventana de la aplicación y fondos de pantalla en vivo.
      • Juegos a pantalla completa en modo vertical y horizontal
      • Vídeo en pantalla completa con subtítulos y control de reproducción.
      • Reproducción de vídeo protegida
      • Ventana múltiple de pantalla dividida

Primitivas HWC

El HWC proporciona dos primitivas, capas y visualizaciones , para representar el trabajo de composición y su interacción con el hardware de visualización. El HWC también proporciona control sobre VSYNC y una devolución de llamada a SurfaceFlinger para notificarle cuando ocurre un evento VSYNC.

interfaz HIDL

Android 8.0 y versiones posteriores utilizan una interfaz HIDL llamada Composer HAL para IPC enlazado entre HWC y SurfaceFlinger. Composer HAL reemplaza la interfaz heredada hwcomposer2.h . Si los proveedores proporcionan una implementación Composer HAL de HWC, Composer HAL acepta directamente llamadas HIDL de SurfaceFlinger. Si los proveedores proporcionan una implementación heredada de HWC, Composer HAL carga punteros de función desde hwcomposer2.h , reenviando llamadas HIDL a llamadas de puntero de función.

El HWC proporciona funciones para determinar las propiedades de una pantalla determinada; para cambiar entre diferentes configuraciones de pantalla (como resolución 4k o 1080p) y modos de color (como color nativo o sRGB verdadero); y para encender, apagar o poner la pantalla en modo de bajo consumo, si es compatible.

Punteros de función

Si los proveedores implementan Composer HAL directamente, SurfaceFlinger llama a sus funciones a través de HIDL IPC. Por ejemplo, para crear una capa, SurfaceFlinger llama a createLayer() en Composer HAL.

Si los proveedores implementan la interfaz hwcomposer2.h , Composer HAL llama a los punteros de función hwcomposer2.h . En los comentarios hwcomposer2.h , las funciones de la interfaz HWC se denominan campos con nombre mediante nombres lowerCamelCase que no existen en la interfaz. Casi todas las funciones se cargan solicitando un puntero de función usando getFunction proporcionado por hwc2_device_t . Por ejemplo, la función createLayer es un puntero de función de tipo HWC2_PFN_CREATE_LAYER , que se devuelve cuando el valor enumerado HWC2_FUNCTION_CREATE_LAYER se pasa a getFunction .

Para obtener documentación detallada sobre las funciones HAL de Composer y las funciones de paso a través de funciones HWC, consulte composer . Para obtener documentación detallada sobre los punteros de función HWC, consulte hwcomposer2.h .

Controladores de capa y visualización

Las capas y visualizaciones se manipulan mediante controladores generados por HWC. Los mangos son opacos para SurfaceFlinger.

Cuando SurfaceFlinger crea una nueva capa, llama a createLayer , que devuelve el tipo Layer para implementaciones directas o hwc2_layer_t para implementaciones de paso. Cuando SurfaceFlinger modifica una propiedad de esa capa, SurfaceFlinger pasa el valor hwc2_layer_t a la función de modificación adecuada junto con cualquier otra información necesaria para realizar la modificación. El tipo hwc2_layer_t es lo suficientemente grande como para contener un puntero o un índice.

Las pantallas físicas se crean mediante conexión en caliente. Cuando una pantalla física se conecta en caliente, el HWC crea un identificador y lo pasa a SurfaceFlinger a través de la devolución de llamada de conexión en caliente. Las pantallas virtuales las crea SurfaceFlinger llamando a createVirtualDisplay() para solicitar una pantalla. Si el HWC admite la composición de pantalla virtual, devuelve un identificador. Luego, SurfaceFlinger delega la composición de las pantallas al HWC. Si el HWC no admite la composición de la pantalla virtual, SurfaceFlinger crea el identificador y compone la pantalla.

Mostrar operaciones de composición

Una vez por VSYNC, SurfaceFlinger se activa si tiene contenido nuevo para componer. Este nuevo contenido puede ser nuevos buffers de imágenes de aplicaciones o un cambio en las propiedades de una o más capas. Cuando SurfaceFlinger lo activa:

  1. Maneja transacciones, si están presentes.
  2. Bloquea nuevos buffers gráficos, si están presentes.
  3. Realiza una nueva composición, si el paso 1 o 2 resultó en un cambio en el contenido de la pantalla.

Para realizar una nueva composición, SurfaceFlinger crea y destruye capas o modifica los estados de las capas, según corresponda. También actualiza las capas con su contenido actual, mediante llamadas como setLayerBuffer o setLayerColor . Después de actualizar todas las capas, SurfaceFlinger llama a validateDisplay , lo que le indica al HWC que examine el estado de las capas y determine cómo se desarrollará la composición. De forma predeterminada, SurfaceFlinger intenta configurar cada capa de modo que la capa esté compuesta por el HWC; aunque en algunas circunstancias, SurfaceFlinger compone capas a través del respaldo de la GPU.

Después de la llamada a validateDisplay , SurfaceFlinger llama a getChangedCompositionTypes para ver si el HWC desea que se cambie alguno de los tipos de composición de capas antes de realizar la composición. Para aceptar los cambios, SurfaceFlinger llama acceptDisplayChanges .

Si alguna capa está marcada para la composición de SurfaceFlinger, SurfaceFlinger la compone en el búfer de destino. Luego, SurfaceFlinger llama setClientTarget para proporcionar el búfer a la pantalla, de modo que el búfer pueda mostrarse en la pantalla o componerse aún más con capas que no se han marcado para la composición de SurfaceFlinger. Si no hay capas marcadas para la composición de SurfaceFlinger, SurfaceFlinger omite el paso de composición.

Finalmente, SurfaceFlinger llama presentDisplay para indicarle al HWC que complete el proceso de composición y muestre el resultado final.

Múltiples pantallas

Android 10 admite múltiples pantallas físicas. Al diseñar una implementación de HWC destinada a su uso en Android 7.0 y versiones posteriores, existen algunas restricciones que no están presentes en la definición de HWC:

  • Se supone que hay exactamente una pantalla interna . La pantalla interna es la pantalla que informa el hotplug inicial durante el arranque. Una vez que la pantalla interna se conecta en caliente, no se puede desconectar.
  • Además de la pantalla interna, se puede conectar en caliente cualquier cantidad de pantallas externas durante el funcionamiento normal del dispositivo. El marco supone que todos los hotplugs después de la primera pantalla interna son pantallas externas, por lo que si se agregan más pantallas internas, se clasifican incorrectamente como Display.TYPE_HDMI en lugar de Display.TYPE_BUILT_IN .

Si bien las operaciones de SurfaceFlinger descritas anteriormente se realizan por pantalla, se realizan de forma secuencial para todas las pantallas activas, incluso si se actualiza el contenido de una sola pantalla.

Por ejemplo, si se actualiza la pantalla externa, la secuencia es:

// In Android 9 and lower:

// Update state for internal display
// Update state for external display
validateDisplay(<internal display>)
validateDisplay(<external display>)
presentDisplay(<internal display>)
presentDisplay(<external display>)

// In Android 10 and higher:

// Update state for internal display
// Update state for external display
validateInternal(<internal display>)
presentInternal(<internal display>)
validateExternal(<external display>)
presentExternal(<external display>)

Composición de pantalla virtual

La composición de la pantalla virtual es similar a la composición de la pantalla externa. La diferencia entre la composición de la pantalla virtual y la composición de la pantalla física es que las pantallas virtuales envían la salida a un búfer Gralloc en lugar de a la pantalla. Hardware Composer (HWC) escribe la salida en un búfer, proporciona el límite de finalización y envía el búfer a un consumidor (como el codificador de video, GPU, CPU, etc.). Las pantallas virtuales pueden usar 2D/blitter o superposiciones si la canalización de la pantalla escribe en la memoria.

Modos

Cada cuadro está en uno de tres modos después de que SurfaceFlinger llama al método HWC validateDisplay() :

  • GLES : la GPU compone todas las capas y escribe directamente en el búfer de salida. El HWC no participa en la composición.
  • MIXTO : la GPU compone algunas capas en el framebuffer y HWC compone el framebuffer y las capas restantes, escribiendo directamente en el buffer de salida.
  • HWC : HWC compone todas las capas y escribe directamente en el búfer de salida.

Formato de salida

Los formatos de salida del búfer de visualización virtual dependen de su modo:

  • Modo GLES : el controlador EGL establece el formato del búfer de salida en dequeueBuffer() , normalmente RGBA_8888 . El consumidor debe poder aceptar el formato de salida que establece el controlador o el búfer no podrá leerse.
  • Modos MIXED y HWC : si el consumidor necesita acceso a la CPU, el consumidor establece el formato. De lo contrario, el formato es IMPLEMENTATION_DEFINED y Gralloc establece el mejor formato según las marcas de uso. Por ejemplo, Gralloc establece un formato YCbCr si el consumidor es un codificador de video y HWC puede escribir el formato de manera eficiente.

Vallas de sincronización

Las barreras de sincronización (sync) son un aspecto crucial del sistema de gráficos de Android. Las vallas permiten que el trabajo de la CPU se realice independientemente del trabajo simultáneo de la GPU, bloqueándose solo cuando existe una verdadera dependencia.

Por ejemplo, cuando una aplicación envía un búfer que se produce en la GPU, también envía un objeto de valla de sincronización. Esta valla señala cuando la GPU ha terminado de escribir en el búfer.

El HWC requiere que la GPU termine de escribir los búferes antes de que se muestren. Las barreras de sincronización pasan a través de la canalización de gráficos con búferes y señalan cuando se escriben los búferes. Antes de mostrar un búfer, el HWC verifica si la barrera de sincronización ha señalado y, si es así, muestra el búfer.

Para obtener más información sobre barreras de sincronización, consulte Integración de Hardware Composer .