Mengimplementasikan HAL Hardware Composer

Hardware Composer (HWC) HAL menggabungkan lapisan yang diterima dari SurfaceFlinger, sehingga mengurangi jumlah komposisi OpenGL ES (GLES) dan performa GPU.

HWC memisahkan objek, seperti overlay dan blitter 2D, ke permukaan komposit dan berkomunikasi dengan hardware komposisi jendela khusus untuk jendela komposit. Gunakan HWC untuk membuat jendela komposit, bukan membuat komposit SurfaceFlinger dengan GPU. Sebagian besar GPU tidak dioptimalkan untuk komposisi, dan saat GPU menyusun lapisan dari SurfaceFlinger, aplikasi tidak dapat menggunakan GPU untuk renderingnya sendiri.

Penerapan HWC harus mendukung:

  • Setidaknya empat overlay:
    • Status bar
    • Panel sistem
    • Aplikasi
    • Wallpaper/latar belakang
  • Lapisan yang lebih besar dari layar (misalnya, wallpaper)
  • Pencampuran alfa per piksel yang di-premultiply secara simultan dan pencampuran alfa per bidang
  • Jalur hardware untuk pemutaran video yang dilindungi
  • Urutan pengepakan RGBA, format YUV, dan properti tiling, swizzling, dan stride

Untuk menerapkan HWC:

  1. Terapkan HWC nonoperasional dan kirim semua pekerjaan komposisi ke GLES.
  2. Terapkan algoritma untuk mendelegasikan komposisi ke HWC secara bertahap. Misalnya, hanya delegasikan tiga atau empat platform pertama ke hardware overlay HWC.
  3. Optimalkan HWC. Pembaruan ini dapat mencakup:
    • Memilih platform yang memaksimalkan beban yang diambil dari GPU dan mengirimkannya ke HWC.
    • Mendeteksi apakah layar sedang diperbarui. Jika tidak, delegasikan komposisi ke GLES, bukan HWC, untuk menghemat daya. Saat layar diperbarui lagi, lanjutkan memindahkan komposisi ke HWC.
    • Bersiap untuk kasus penggunaan umum seperti:
      • Layar utama, yang mencakup status bar, kolom sistem, jendela aplikasi, dan wallpaper animasi
      • Game layar penuh dalam mode potret dan lanskap
      • Video layar penuh dengan teks tertutup dan kontrol pemutaran
      • Pemutaran video yang dilindungi
      • Multi-aplikasi layar terpisah

Primitif HWC

HWC menyediakan dua primitif, lapisan dan layar, untuk mewakili pekerjaan komposisi dan interaksinya dengan hardware layar. HWC juga menyediakan kontrol atas VSYNC dan callback ke SurfaceFlinger untuk memberi tahu saat peristiwa VSYNC terjadi.

Antarmuka HIDL

Android 8.0 dan yang lebih tinggi menggunakan antarmuka HIDL yang disebut Composer HAL untuk IPC binderized antara HWC dan SurfaceFlinger. HAL Composer menggantikan antarmuka hwcomposer2.h lama. Jika vendor menyediakan implementasi HAL Composer dari HWC, HAL Composer akan langsung menerima panggilan HIDL dari SurfaceFlinger. Jika vendor menyediakan implementasi lama HWC, Composer HAL akan memuat pointer fungsi dari hwcomposer2.h, yang meneruskan panggilan HIDL ke panggilan pointer fungsi.

HWC menyediakan fungsi untuk menentukan properti layar tertentu; untuk beralih di antara berbagai konfigurasi layar (seperti resolusi 4k atau 1080p) dan mode warna (seperti warna native atau sRGB sejati); dan untuk mengaktifkan layar, menonaktifkan, atau mengubahnya ke mode daya rendah jika didukung.

Pointer fungsi

Jika vendor menerapkan Composer HAL secara langsung, SurfaceFlinger akan memanggil fungsinya melalui HIDL IPC. Misalnya, untuk membuat lapisan, SurfaceFlinger memanggil createLayer() di HAL Composer.

Jika vendor menerapkan antarmuka hwcomposer2.h, Composer HAL akan memanggil ke pointer fungsi hwcomposer2.h. Dalam komentar hwcomposer2.h, fungsi antarmuka HWC disebut dengan nama lowerCamelCase yang tidak ada di antarmuka sebagai kolom bernama. Hampir setiap fungsi dimuat dengan meminta pointer fungsi menggunakan getFunction yang disediakan oleh hwc2_device_t. Misalnya, fungsi createLayer adalah pointer fungsi dari jenis HWC2_PFN_CREATE_LAYER, yang ditampilkan saat nilai yang dihitung HWC2_FUNCTION_CREATE_LAYER diteruskan ke getFunction.

Untuk dokumentasi mendetail tentang fungsi HAL Composer dan fungsi passthrough fungsi HWC, lihat composer. Untuk dokumentasi mendetail tentang pointer fungsi HWC, lihat hwcomposer2.h.

Handle lapisan dan tampilan

Lapisan dan layar dimanipulasi oleh handle yang dihasilkan oleh HWC. Tuasnya buram untuk SurfaceFlinger.

Saat SurfaceFlinger membuat lapisan baru, SurfaceFlinger akan memanggil createLayer yang menampilkan jenis Layer untuk implementasi langsung atau hwc2_layer_t untuk implementasi passthrough. Saat SurfaceFlinger mengubah properti lapisan tersebut, SurfaceFlinger akan meneruskan nilai hwc2_layer_t ke fungsi modifikasi yang sesuai beserta informasi lain yang diperlukan untuk melakukan modifikasi. Jenis hwc2_layer_t cukup besar untuk menyimpan pointer atau indeks.

Layar fisik dibuat dengan hotplug. Saat tampilan fisik di-hotplug, HWC akan membuat handle dan meneruskan handle tersebut ke SurfaceFlinger melalui callback hotplug. Tampilan virtual dibuat dengan SurfaceFlinger yang memanggil createVirtualDisplay() untuk meminta tampilan. Jika HWC mendukung komposisi tampilan virtual, maka akan menampilkan handle. Kemudian, SurfaceFlinger mendelegasikan komposisi layar ke HWC. Jika HWC tidak mendukung komposisi layar virtual, SurfaceFlinger akan membuat handle dan mengomposisi layar.

Menampilkan operasi komposisi

Satu kali per VSYNC, SurfaceFlinger akan aktif jika memiliki konten baru untuk dikomposisi. Konten baru ini dapat berupa buffering gambar baru dari aplikasi atau perubahan pada properti satu atau beberapa lapisan. Saat SurfaceFlinger mengaktifkannya:

  1. Menangani transaksi, jika ada.
  2. Mengaitkan buffering grafis baru, jika ada.
  3. Menjalankan komposisi baru, jika langkah 1 atau 2 menghasilkan perubahan pada konten tampilan.

Untuk melakukan komposisi baru, SurfaceFlinger membuat dan menghancurkan lapisan atau mengubah status lapisan, sebagaimana berlaku. Kode ini juga mengupdate lapisan dengan kontennya saat ini, menggunakan panggilan seperti setLayerBuffer atau setLayerColor. Setelah semua lapisan diupdate, SurfaceFlinger memanggil validateDisplay, yang memberi tahu HWC untuk memeriksa status lapisan dan menentukan cara komposisi akan dilanjutkan. Secara default, SurfaceFlinger mencoba mengonfigurasi setiap lapisan sehingga lapisan digabungkan oleh HWC; meskipun dalam beberapa keadaan, SurfaceFlinger menggabungkan lapisan melalui penggantian GPU.

Setelah panggilan ke validateDisplay, SurfaceFlinger akan memanggil getChangedCompositionTypes untuk melihat apakah HWC ingin salah satu jenis komposisi lapisan diubah sebelum melakukan komposisi. Untuk menerima perubahan, SurfaceFlinger memanggil acceptDisplayChanges.

Jika ada lapisan yang ditandai untuk komposisi SurfaceFlinger, SurfaceFlinger akan mengomposisinya ke dalam buffer target. SurfaceFlinger kemudian memanggil setClientTarget untuk memberikan buffer ke layar sehingga buffer dapat ditampilkan di layar atau dikomposisi lebih lanjut dengan lapisan yang belum ditandai untuk komposisi SurfaceFlinger. Jika tidak ada lapisan yang ditandai untuk komposisi SurfaceFlinger, SurfaceFlinger akan mengabaikan langkah komposisi.

Terakhir, SurfaceFlinger memanggil presentDisplay untuk memberi tahu HWC agar menyelesaikan proses komposisi dan menampilkan hasil akhir.

Beberapa tampilan

Android 10 mendukung beberapa layar fisik. Saat mendesain implementasi HWC yang dimaksudkan untuk digunakan di Android 7.0 dan yang lebih tinggi, ada beberapa batasan yang tidak ada dalam definisi HWC:

  • Diasumsikan bahwa hanya ada satu tampilan internal. Layar internal adalah layar yang dilaporkan oleh hotplug awal selama proses booting. Setelah di-hotplug, layar internal tidak dapat diputuskan.
  • Selain layar internal, sejumlah layar eksternal dapat dihubungkan secara hotplug selama pengoperasian normal perangkat. Framework ini mengasumsikan bahwa semua hotplug setelah tampilan internal pertama adalah layar eksternal, sehingga jika ada lagi tampilan internal yang ditambahkan, tampilan tersebut akan salah dikategorikan sebagai Display.TYPE_HDMI, bukan Display.TYPE_BUILT_IN.

Meskipun operasi SurfaceFlinger yang dijelaskan di atas dilakukan per layar, operasi tersebut dilakukan secara berurutan untuk semua layar aktif, meskipun konten hanya satu layar yang diperbarui.

Misalnya, jika layar eksternal diperbarui, urutan adalah:

// In Android 9 and lower:

// Update state for internal display
// Update state for external display
validateDisplay(<internal display>)
validateDisplay(<external display>)
presentDisplay(<internal display>)
presentDisplay(<external display>)

// In Android 10 and higher:

// Update state for internal display
// Update state for external display
validateInternal(<internal display>)
presentInternal(<internal display>)
validateExternal(<external display>)
presentExternal(<external display>)

Komposisi tampilan virtual

Komposisi tampilan virtual mirip dengan komposisi tampilan eksternal. Perbedaan antara komposisi tampilan virtual dan komposisi tampilan fisik adalah tampilan virtual yang mengirimkan output ke buffer Gralloc, bukan ke layar. Hardware Composer (HWC) menulis output ke buffer, menyediakan pagar penyelesaian, dan mengirim buffer ke konsumen (seperti enkoder video, GPU, CPU, dan sebagainya). Layar virtual dapat menggunakan overlay 2D/blitter atau jika pipeline tampilan menulis ke memori.

Mode

Setiap frame berada dalam salah satu dari tiga mode setelah SurfaceFlinger memanggil metode HWC validateDisplay():

  • GLES — GPU menggabungkan semua lapisan, yang menulis langsung ke buffer output. HWC tidak terlibat dalam komposisi.
  • MIXED — GPU menggabungkan beberapa lapisan ke framebuffer dan HWC menggabungkan framebuffer dan lapisan yang tersisa, menulis langsung ke buffer output.
  • HWC — HWC menggabungkan semua lapisan dan menulis langsung ke buffer output.

Format output

Format output buffer tampilan virtual bergantung pada modenya:

  • Mode GLES — Driver EGL menetapkan format buffering output di dequeueBuffer(), biasanya RGBA_8888. Konsumen harus dapat menerima format output yang ditetapkan driver atau buffer tidak dapat dibaca.
  • Mode MIXED dan HWC — Jika konsumen memerlukan akses CPU, konsumen akan menetapkan format. Jika tidak, formatnya adalah IMPLEMENTATION_DEFINED, dan Gralloc menetapkan format terbaik berdasarkan flag penggunaan. Misalnya, Gralloc menetapkan format YCbCr jika konsumen adalah encoder video dan HWC dapat menulis format secara efisien.

Pagar sinkronisasi

Pagar sinkronisasi (sinkronisasi) adalah aspek penting dari sistem grafis Android. Pagar memungkinkan pekerjaan CPU dilanjutkan secara independen dari pekerjaan GPU serentak, hanya memblokir jika ada dependensi yang sebenarnya.

Misalnya, saat aplikasi mengirimkan buffer yang sedang dihasilkan di GPU, aplikasi juga mengirimkan objek pagar sinkronisasi. Pagar ini memberi sinyal saat GPU telah selesai menulis ke dalam buffer.

HWC mengharuskan GPU menyelesaikan buffer penulisan sebelum buffer ditampilkan. Pagar sinkronisasi diteruskan melalui pipeline grafis dengan buffering dan sinyal saat buffering ditulis. Sebelum buffering ditampilkan, HWC akan memeriksa apakah pagar sinkronisasi telah memberikan sinyal, dan jika ya, buffer akan ditampilkan.

Untuk informasi selengkapnya tentang fence sinkronisasi, lihat Integrasi Hardware Composer.