Qué debe saber todo desarrollador sobre las plataformas, SurfaceHolder, EGLSurface, SurfaceView, GLSurfaceView, SurfaceTexture, TextureView, SurfaceFlinger y Vulkan.
En esta página, se describen los elementos esenciales de la arquitectura de gráficos a nivel del sistema de Android y cómo los usan el framework de la app y el sistema multimedia. El enfoque se centra en cómo los búferes de datos gráficos se mueven a través del sistema. Si alguna vez te preguntaste por qué SurfaceView y TextureView se comportan de la manera en que lo hacen, o cómo interactúan las superficies y EGLSurface, estás en el lugar correcto.
Se supone que tienes cierta familiaridad con los dispositivos Android y el desarrollo de apps. No necesitas conocimientos detallados del framework de la app y se mencionan muy pocas llamadas a la API, pero el material no se superpone con otra documentación pública. El objetivo es proporcionar detalles sobre los eventos significativos que participan en la renderización de un fotograma para la salida para ayudarte a tomar decisiones fundamentadas cuando diseñes una app. Para lograrlo, trabajamos de abajo hacia arriba y describimos cómo funcionan las clases de la IU en lugar de cómo se pueden usar.
En esta sección, se incluyen varias páginas que abarcan desde el material de fondo hasta los detalles de HAL y los casos de uso. Comienza con una explicación de los búferes de gráficos de Android, describe el mecanismo de composición y visualización y, luego, continúa con los mecanismos de nivel superior que le proporcionan datos al compositor. Te recomendamos que leas las páginas en el orden que se indica a continuación en lugar de saltar a un tema que te resulte interesante.
Componentes de bajo nivel
- BufferQueue y gralloc. BufferQueue conecta algo que genera búferes de datos gráficos (el productor) a algo que acepta los datos para su visualización o procesamiento adicional (el consumidor). Las asignaciones de búfer se realizan a través del asignador de memoria gralloc implementado a través de una interfaz HAL específica del proveedor.
- SurfaceFlinger, Hardware Composer y pantallas virtuales SurfaceFlinger acepta búferes de datos de varias fuentes, los compone y los envía a la pantalla. El HAL de Hardware Composer (HWC) determina la forma más eficiente de combinar búferes con el hardware disponible, y las pantallas virtuales hacen que el resultado compuesto esté disponible dentro del sistema (grabar la pantalla o enviarla a través de una red).
- Surface, canvas y SurfaceHolder. Una superficie produce una cola de búfer que a menudo consume SurfaceFlinger. Cuando se renderiza en una superficie, el resultado termina en un búfer que se envía al consumidor. Las APIs de Canvas proporcionan una implementación de software (con compatibilidad con la aceleración de hardware) para dibujar directamente en una superficie (alternativa de bajo nivel a OpenGL ES). Todo lo que tenga que ver con una vista implica un SurfaceHolder, cuyas APIs permiten obtener y configurar parámetros de superficie, como el tamaño y el formato.
- EGLSurface y OpenGL ES OpenGL ES (GLES) define una API de renderización de gráficos diseñada para combinarse con EGL, una biblioteca que puede crear ventanas y acceder a ellas a través del sistema operativo (para dibujar polígonos con textura, usa llamadas a GLES; para colocar la renderización en la pantalla, usa llamadas a EGL). En esta página, también se explica ANativeWindow, el equivalente en C/C++ de la clase Java Surface que se usa para crear una superficie de ventana EGL a partir de código nativo.
- Vulkan. Vulkan es una API multiplataforma de baja sobrecarga para gráficos 3D de alto rendimiento. Al igual que OpenGL ES, Vulkan proporciona herramientas para crear gráficos de alta calidad en tiempo real en las apps. Las ventajas de Vulkan incluyen reducciones en la sobrecarga de la CPU y compatibilidad con el lenguaje SPIR-V Binary Intermediate.
Componentes de alto nivel
- SurfaceView y GLSurfaceView. SurfaceView combina una superficie y una vista. SurfaceFlinger (y no la app) compone los componentes de vista de SurfaceView, lo que permite la renderización desde un subproceso o proceso independiente y el aislamiento de la renderización de la IU de la app. GLSurfaceView proporciona clases de ayuda para administrar contextos de EGL, comunicación entre subprocesos y la interacción con el ciclo de vida de la actividad (pero no es necesario usar GLES).
- SurfaceTexture. SurfaceTexture combina una superficie y una textura de GLES para crear un BufferQueue para el que tu app es el consumidor. Cuando un productor pone en cola un búfer nuevo, notifica a tu app, que a su vez libera el búfer que se tenía anteriormente, adquiere el búfer nuevo de la cola y realiza llamadas a EGL para que el búfer esté disponible para GLES como una textura externa. Android 7.0 agregó compatibilidad con la reproducción de video con texturas seguras, lo que permite el procesamiento posterior de GPU de contenido de video protegido.
- TextureView. TextureView combina una vista con una SurfaceTexture. TextureView une una SurfaceTexture y se responsabiliza de responder a las devoluciones de llamada y adquirir búferes nuevos. Cuando se dibuja, TextureView usa el contenido del búfer más recientemente recibido como su fuente de datos y lo renderiza donde y como lo indique el estado de la vista. La composición de vistas siempre se realiza con GLES, lo que significa que las actualizaciones de contenido pueden hacer que otros elementos de vista también se vuelvan a dibujar.