Implementa la HAL del compositor de hardware

Las capas compuestas de HAL de Hardware Composer (HWC) recibidas de SurfaceFlinger reducen la cantidad de composición de OpenGL ES (GLES) que realiza la GPU.

El HWC abstrae los objetos, como las superposiciones y los blitters en 2D, para componer superficies y se comunica con el hardware especializado de composición de ventanas para las ventanas compuestas. Usa HWC para combinar ventanas en lugar de que SurfaceFlinger lo haga con la GPU. La mayoría de las GPU no están optimizadas para la composición y, cuando la GPU compone capas de SurfaceFlinger, las apps no pueden usar la GPU para su propia renderización.

Las implementaciones de HWC deben admitir lo siguiente:

  • Al menos cuatro superposiciones:
    • Barra de estado
    • Barra del sistema
    • App
    • Fondo de pantalla
  • Capas que son más grandes que la pantalla (por ejemplo, un fondo de pantalla)
  • Combinación alfa premultiplicada por píxel y combinación alfa por plano simultáneas
  • Ruta de hardware para la reproducción de video protegida
  • Orden de empaquetado RGBA, formatos YUV y propiedades de mosaicos, swizzling y stride

Para implementar el HWC, sigue estos pasos:

  1. Implementa un HWC no operativo y envía todo el trabajo de composición a GLES.
  2. Implementa un algoritmo para delegar la composición al HWC de forma incremental. Por ejemplo, delega solo las primeras tres o cuatro superficies al hardware de superposición del HWC.
  3. Optimiza el HWC. Esto puede incluir lo siguiente:
    • Seleccionar superficies que maximicen la carga que se quita de la GPU y enviarlas al HWC
    • Detecta si la pantalla se está actualizando. Si no es así, delega la composición a GLES en lugar de HWC para ahorrar energía. Cuando la pantalla se actualice nuevamente, continúa descargando la composición en el HWC.
    • Preparación para casos de uso comunes, como los siguientes:
      • La pantalla principal, que incluye la barra de estado, la barra del sistema, la ventana de la app y los fondos de pantalla animados
      • Juegos de pantalla completa en modo vertical y horizontal
      • Video en pantalla completa con subtítulos y control de reproducción
      • Reproducción de video protegida
      • Multiventana con pantalla dividida

Primitivas de HWC

El HWC proporciona dos primitivas, capas y pantallas, para representar el trabajo de composición y su interacción con el hardware de la pantalla. El HWC también proporciona control sobre VSYNC y una devolución de llamada a SurfaceFlinger para notificarle cuando se produce un evento de VSYNC.

Interfaz de HIDL

Android 8.0 y versiones posteriores usan una interfaz HIDL llamada HAL de Composer para el IPC vinculado entre HWC y SurfaceFlinger. El HAL de Composer reemplaza la interfaz hwcomposer2.h heredada. Si los proveedores proporcionan una implementación de HAL de Composer del HWC, el HAL de Composer acepta directamente las llamadas de HIDL desde SurfaceFlinger. Si los proveedores proporcionan una implementación heredada del HWC, el HAL de Composer carga punteros de función desde hwcomposer2.h y reenvía las llamadas de HIDL a las llamadas de puntero de función.

El HWC proporciona funciones para determinar las propiedades de una pantalla determinada, cambiar entre diferentes configuraciones de pantalla (como la resolución 4K o 1080p) y modos de color (como el color nativo o el sRGB real) y para encender, apagar o poner la pantalla en modo de bajo consumo si es compatible.

Punteros de función

Si los proveedores implementan el HAL de Composer directamente, SurfaceFlinger llama a sus funciones a través de HIDL IPC. Por ejemplo, para crear una capa, SurfaceFlinger llama a createLayer() en la HAL de Composer.

Si los proveedores implementan la interfaz hwcomposer2.h, el HAL de Composer llama a los punteros de función hwcomposer2.h. En los comentarios hwcomposer2.h, se hace referencia a las funciones de la interfaz HWC con nombres lowerCamelCase que no existen en la interfaz como campos con nombre. Casi todas las funciones se cargan solicitando un puntero de función con getFunction que proporciona hwc2_device_t. Por ejemplo, la función createLayer es un puntero de función de tipo HWC2_PFN_CREATE_LAYER, que se muestra cuando se pasa el valor enumerado HWC2_FUNCTION_CREATE_LAYER a getFunction.

Para obtener documentación detallada sobre las funciones de HAL de Composer y las funciones de transferencia de funciones de HWC, consulta composer. Para obtener documentación detallada sobre los punteros de función de HWC, consulta hwcomposer2.h.

Controles de capas y pantallas

Las capas y las pantallas se manipulan con controladores generados por el HWC. Los controladores son opacos para SurfaceFlinger.

Cuando SurfaceFlinger crea una capa nueva, llama a createLayer, que muestra el tipo Layer para implementaciones directas o hwc2_layer_t para implementaciones de transferencia. Cuando SurfaceFlinger modifica una propiedad de esa capa, pasa el valor hwc2_layer_t a la función de modificación adecuada junto con cualquier otra información necesaria para realizar la modificación. El tipo hwc2_layer_t es lo suficientemente grande como para contener un puntero o un índice.

Las pantallas físicas se crean mediante una conexión en caliente. Cuando se conecta o desconecta una pantalla física, HWC crea un identificador y lo pasa a SurfaceFlinger a través de la devolución de llamada de hotplug. SurfaceFlinger crea pantallas virtuales llamando a createVirtualDisplay() para solicitar una pantalla. Si el HWC admite la composición de pantallas virtuales, muestra un identificador. Luego, SurfaceFlinger delega la composición de las pantallas al HWC. Si el HWC no admite la composición de pantallas virtuales, SurfaceFlinger crea el control y compone la pantalla.

Mostrar operaciones de composición

Una vez por VSYNC, SurfaceFlinger se activa si tiene contenido nuevo para combinar. Este contenido nuevo pueden ser nuevos búferes de imágenes de apps o un cambio en las propiedades de una o más capas. Cuando SurfaceFlinger lo activa, sucede lo siguiente:

  1. Controla las transacciones, si están presentes.
  2. Bloquea nuevos búferes gráficos, si están presentes.
  3. Realiza una composición nueva si el paso 1 o 2 generó un cambio en el contenido de la pantalla.

Para realizar una composición nueva, SurfaceFlinger crea y destruye capas o modifica sus estados, según corresponda. También actualiza las capas con su contenido actual mediante llamadas como setLayerBuffer o setLayerColor. Después de que se actualizan todas las capas, SurfaceFlinger llama a validateDisplay, que le indica al HWC que examine el estado de las capas y determine cómo se realizará la composición. De forma predeterminada, SurfaceFlinger intenta configurar cada capa de modo que la HWC la componga. Sin embargo, en algunas circunstancias, SurfaceFlinger compone capas a través del resguardo de la GPU.

Después de la llamada a validateDisplay, SurfaceFlinger llama a getChangedCompositionTypes para ver si HWC desea cambiar alguno de los tipos de composición de capas antes de realizar la composición. Para aceptar los cambios, SurfaceFlinger llama a acceptDisplayChanges.

Si se marca alguna capa para la composición de SurfaceFlinger, este las combina en el búfer de destino. Luego, SurfaceFlinger llama a setClientTarget para entregar el búfer a la pantalla, de modo que se pueda mostrar en la pantalla o combinarse con capas que no se hayan marcado para la composición de SurfaceFlinger. Si no se marcan capas para la composición de SurfaceFlinger, este omitirá el paso de composición.

Por último, SurfaceFlinger llama a presentDisplay para indicarle al HWC que complete el proceso de composición y muestre el resultado final.

Varias pantallas

Android 10 admite varias pantallas físicas. Cuando se diseña una implementación de HWC para usar en Android 7.0 y versiones posteriores, existen algunas restricciones que no están presentes en la definición de HWC:

  • Se supone que hay exactamente una pantalla interna. La pantalla interna es la que informa el hot-plug inicial durante el inicio. Una vez que la pantalla interna se conecta en caliente, no se puede desconectar.
  • Además de la pantalla interna, se puede conectar cualquier cantidad de pantallas externas durante el funcionamiento normal del dispositivo. El framework supone que todas las conexiones en caliente después de la primera pantalla interna son pantallas externas, por lo que, si se agregan más pantallas internas, se categorizarán de forma incorrecta como Display.TYPE_HDMI en lugar de Display.TYPE_BUILT_IN.

Si bien las operaciones de SurfaceFlinger descritas anteriormente se realizan por pantalla, se realizan de manera secuencial para todas las pantallas activas, incluso si se actualiza el contenido de una sola pantalla.

Por ejemplo, si se actualiza la pantalla externa, la secuencia es la siguiente:

// In Android 9 and lower:

// Update state for internal display
// Update state for external display
validateDisplay(<internal display>)
validateDisplay(<external display>)
presentDisplay(<internal display>)
presentDisplay(<external display>)

// In Android 10 and higher:

// Update state for internal display
// Update state for external display
validateInternal(<internal display>)
presentInternal(<internal display>)
validateExternal(<external display>)
presentExternal(<external display>)

Composición de la pantalla virtual

La composición de la pantalla virtual es similar a la composición de la pantalla externa. La diferencia entre la composición de la pantalla virtual y la composición de la pantalla física es que las pantallas virtuales envían el resultado a un búfer de Gralloc en lugar de a la pantalla. El compositor de hardware (HWC) escribe el resultado en un búfer, proporciona la cerca de finalización y envía el búfer a un consumidor (como el codificador de video, la GPU, la CPU, etcétera). Las pantallas virtuales pueden usar 2D/blitter o superposiciones si la canalización de pantalla escribe en la memoria.

Modos

Cada fotograma se encuentra en uno de los tres modos después de que SurfaceFlinger llama al método HWC validateDisplay():

  • GLES: La GPU combina todas las capas y escribe directamente en el búfer de salida. El HWC no participa en la composición.
  • MIXED: La GPU compone algunas capas en el búfer de tramas y HWC compone el búfer de tramas y las capas restantes, y escribe directamente en el búfer de salida.
  • HWC: HWC compone todas las capas y escribe directamente en el búfer de salida.

Formato de salida

Los formatos de salida del búfer de pantalla virtual dependen de su modo:

  • Modo GLES: El controlador de EGL establece el formato del búfer de salida en dequeueBuffer(), por lo general, RGBA_8888. El consumidor debe poder aceptar el formato de salida que establece el controlador, o no se puede leer el búfer.
  • Modos MIXED y HWC: Si el consumidor necesita acceso a la CPU, el consumidor establece el formato. De lo contrario, el formato es IMPLEMENTATION_DEFINED, y Gralloc establece el mejor formato en función de las marcas de uso. Por ejemplo, Gralloc establece un formato YCbCr si el consumidor es codificador de video y HWC puede escribir el formato de manera eficiente.

Barreras de sincronización

Las barreras de sincronización (sync) son un aspecto fundamental del sistema de gráficos de Android. Los cierres permiten que el trabajo de la CPU se realice de forma independiente del trabajo concurrente de la GPU y solo se bloquee cuando hay una dependencia real.

Por ejemplo, cuando una app envía un búfer que se produce en la GPU, también envía un objeto de valla de sincronización. Esta cerca indica cuándo la GPU terminó de escribir en el búfer.

El HWC requiere que la GPU termine de escribir los búferes antes de que se muestren. Las cercas de sincronización se pasan a través de la canalización de gráficos con búferes y se indican cuando se escriben los búferes. Antes de que se muestre un búfer, el HWC verifica si la cerca de sincronización envió una señal y, si es así, muestra el búfer.

Para obtener más información sobre las cercas de sincronización, consulta Integración de Hardware Composer.