Grafikarchitektur

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Was jeder Entwickler über Oberflächen, SurfaceHolder, EGLSurface, SurfaceView, GLSurfaceView, SurfaceTexture, TextureView, SurfaceFlinger und Vulkan wissen sollte

Auf dieser Seite werden wichtige Elemente der Grafikarchitektur auf Android-Systemebene beschrieben und wie sie vom App-Framework und Multimediasystem verwendet werden. Der Schwerpunkt liegt darauf, wie Buffers von grafischen Daten durch das System geleitet werden. Wenn Sie sich schon einmal gefragt haben, warum sich SurfaceView und TextureView so verhalten oder wie Oberflächen und EGLSurface interagieren, sind Sie hier genau richtig.

Es wird vorausgesetzt, dass Sie mit Android-Geräten und der App-Entwicklung vertraut sind. Sie benötigen keine detaillierten Kenntnisse des App-Frameworks und es werden nur sehr wenige API-Aufrufe erwähnt. Das Material deckt sich jedoch nicht mit anderen öffentlichen Dokumentationen. Ziel ist es, Details zu den wichtigen Ereignissen beim Rendern eines Frames für die Ausgabe anzugeben, damit Sie beim Entwerfen einer App fundierte Entscheidungen treffen können. Dazu gehen wir von unten nach oben vor und beschreiben, wie die UI-Klassen funktionieren, anstatt wie sie verwendet werden können.

Dieser Abschnitt enthält mehrere Seiten mit Hintergrundinformationen, HAL-Details und Anwendungsfällen. Es beginnt mit einer Erklärung der Android-Grafik-Buffers, beschreibt den Kompositionsund Anzeigemechanismus und geht dann zu den Mechanismen höherer Ebene über, die den Compositor mit Daten versorgen. Wir empfehlen, die Seiten in der unten aufgeführten Reihenfolge zu lesen, anstatt zu einem Thema zu springen, das interessant klingt.

Low-Level-Komponenten

• BufferQueue und gralloc BufferQueue verbindet etwas, das Buffers mit grafischen Daten generiert (der Erzeuger), mit etwas, das die Daten zur Anzeige oder weiteren Verarbeitung akzeptiert (der Nutzer). Die Pufferzuweisung erfolgt über den Arbeitsspeicher-Allocator gralloc, der über eine anbieterspezifische HAL-Schnittstelle implementiert ist.
• SurfaceFlinger, Hardware Composer und virtuelle Displays SurfaceFlinger empfängt Datenbuffer aus mehreren Quellen, kombiniert sie und sendet sie an das Display. Die Hardware Composer HAL (HWC) bestimmt die effizienteste Methode, Buffers mit der verfügbaren Hardware zu kombinieren. Virtuelle Displays stellen die kombinierte Ausgabe innerhalb des Systems bereit (Aufzeichnen des Bildschirms oder Senden des Bildschirms über ein Netzwerk).
• Surface, Canvas und SurfaceHolder Eine Oberfläche erzeugt eine Pufferwarteschlange, die häufig von SurfaceFlinger verwendet wird. Beim Rendern auf eine Oberfläche wird das Ergebnis in einem Puffer gespeichert, der an den Verbraucher gesendet wird. Canvas-APIs bieten eine Softwareimplementierung (mit Hardwarebeschleunigung) zum Zeichnen direkt auf einer Oberfläche (Low-Level-Alternative zu OpenGL ES). Alles, was mit einer Ansicht zu tun hat, umfasst einen SurfaceHolder, dessen APIs es ermöglichen, Oberflächenparameter wie Größe und Format abzurufen und festzulegen.
• EGLSurface und OpenGL ES OpenGL ES (GLES) definiert eine Grafik-Rendering-API, die mit EGL kombiniert werden kann, einer Bibliothek, mit der Fenster über das Betriebssystem erstellt und darauf zugegriffen werden kann. Zum Zeichnen von texturierten Polygonen werden GLES-Aufrufe verwendet, zum Rendern auf dem Bildschirm EGL-Aufrufe. Auf dieser Seite wird auch ANativeWindow behandelt, das C/C++-Äquivalent der Java-Surface-Klasse, mit der eine EGL-Fensteroberfläche aus nativem Code erstellt wird.
• Vulkan. Vulkan ist eine plattformübergreifende API mit geringem Overhead für leistungsstarke 3D-Grafiken. Ähnlich wie OpenGL ES bietet Vulkan Tools zum Erstellen hochwertiger Echtzeitgrafiken in Apps. Zu den Vorteilen von Vulkan gehören eine Verringerung des CPU-Overheads und die Unterstützung der SPIR-V Binary Intermediate-Sprache.

Allgemeine Komponenten

• SurfaceView und GLSurfaceView SurfaceView kombiniert eine Oberfläche und eine Ansicht. Die Ansichtskomponenten von SurfaceView werden von SurfaceFlinger (und nicht von der App) zusammengesetzt, was das Rendering in einem separaten Thread/Prozess und die Isolation vom Rendering der App-Benutzeroberfläche ermöglicht. GLSurfaceView bietet Hilfsklassen zum Verwalten von EGL-Kontexten, zur Kommunikation zwischen Threads und zur Interaktion mit dem Lebenszyklus der Aktivität. Die Verwendung von GLES ist jedoch nicht erforderlich.
• SurfaceTexture SurfaceTexture kombiniert eine Oberfläche und eine GLES-Textur, um eine BufferQueue zu erstellen, für die Ihre App der Verbraucher ist. Wenn ein Produzent einen neuen Buffer in die Warteschlange stellt, benachrichtigt er Ihre App, die wiederum den zuvor gehaltenen Buffer freigibt, den neuen Buffer aus der Warteschlange abruft und EGL-Aufrufe ausführt, um den Buffer GLES als externe Textur zur Verfügung zu stellen. Android 7.0 unterstützt die Wiedergabe von sicheren Texturenvideos, wodurch eine GPU-Nachbearbeitung geschützter Videoinhalte möglich ist.
• TextureView TextureView kombiniert eine Ansicht mit einer SurfaceTexture. TextureView umschließt eine SurfaceTexture und ist für die Reaktion auf Rückrufe und das Abrufen neuer Buffers verantwortlich. Beim Zeichnen verwendet TextureView den Inhalt des zuletzt empfangenen Buffers als Datenquelle und rendert ihn dort und so, wie es der Ansichtsstatus vorgibt. Die Ansichtszusammensetzung wird immer mit GLES ausgeführt. Das bedeutet, dass Aktualisierungen von Inhalten dazu führen können, dass auch andere Ansichtselemente neu gezeichnet werden.