HDR video oynatma

Yüksek dinamik aralıklı (HDR) video, yüksek kaliteli video alanındaki yeni ufuk benzersiz sahne üretim kaliteleri sağlıyor. Ulaşıyor Bu nedenle, parlaklık bileşeninin dinamik aralığını önemli ölçüde artırarak (mevcut 100 cd/m²'den 1000 cd/m²'ye) ve çok daha geniş bir renk alanı (BT 2020). Bu artık 4K UHD gelişiminin ana öğesi ortaya çıkıyor.

Android 10, aşağıdaki HDR videoları destekler.

• HDR10
• Başkan Yardımcısı
• HDR10+

Android 9 ve sonraki sürümlerden itibaren MediaCodec, tünel modundan bağımsız olarak HDR meta verilerini bildirir. Tünelsiz modda, kodu çözülmüş verileri statik/dinamik meta verilerle birlikte alabilirsiniz. HDR10 için ve statik meta veriler kullanan VP9Profile2 ve bunların çıkış biçiminde anahtarla bildirilir. KEY_HDR_STATIC_INFO Dinamik meta veri kullanan HDR10+ için bu, tuşu KEY_HDR10_PLUS_INFO tuşuna basar ve her çıkış karesi için farklı olabilir. Daha fazla bilgi için Multimedya Tüneli bölümüne bakın.

Android 7.0'dan itibaren, ilk HDR desteği şunları içerir: HDR videonun keşfi ve kurulumu için uygun sabit değerlerin oluşturulması ardışık düzenler. Bu, codec türlerini ve görüntüleme modlarını tanımlamak ve HDR verilerinin MediaCodec'e iletilmesi ve HDR kod çözücülere sağlanması gerektiği.

Bu belgenin amacı, uygulama geliştiricilerin HDR akışı desteklemesine yardımcı olmaktır. oynatabilir ve OEM'ler ile SOC'lerin HDR özelliklerini etkinleştirmesine yardımcı olabilirsiniz.

Desteklenen HDR teknolojileri

Android 7.0 ve sonraki sürümlerde aşağıdaki HDR teknolojileri desteklenmektedir.

Android 7.0'da yalnızca tünelli mod üzerinden HDR oynatma tanımlanmıştır, ancak cihazlar opak görüntü kullanarak SurfaceView'da HDR oynatılması için destek ekleyebilir video arabellekleridir. Başka bir deyişle:

• HDR oynatmanın desteklenip desteklenmediğini kontrol etmek için standart bir Android API'si yoktur kod çözücüler kullanır.
• HDR oynatma özelliğini tanıtan tünelli video kod çözücüler, ve HDR özellikli ekranlara bağlıyken HDR oynatmayı destekler.
• HDR içeriğin GL bileşimi, AOSP Android tarafından desteklenmiyor 7.0 sürümü yüklüdür.

Discovery

HDR oynatma için HDR özellikli kod çözücü ve HDR özellikli ekran. İsteğe bağlı olarak, bazı teknolojiler için belirli bir ayıklayıcı olarak kabul edilir.

Ekran

Başvurular yeni Display.getHdrCapabilities uygulamasını kullanacaktır Belirtilen ekran tarafından desteklenen HDR teknolojilerini sorgulamaya yarayan API. Bu EDID Statik Meta Veri Veri Bloğunda bulunan ve tanımlandığı şekliyle CTA-861.3'teki:

• 
  public Display.HdrCapabilities getHdrCapabilities() Ekranın HDR özelliklerini döndürür.
• 
  Display.HdrCapabilities Belirli bir ekranın HDR özelliklerini içerir. Örneğin, hangi HDR ve istenen parlaklık verileriyle ilgili ayrıntılara yer verir.

Sabit değerler:

• 
  int HDR_TYPE_DOLBY_VISION Dolby Vision desteği.
• 
  int HDR_TYPE_HDR10 HDR10 / PQ desteği.
• 
  int HDR_TYPE_HDR10_PLUS HDR10+ desteği.
• 
  int HDR_TYPE_HLG Karma Log-Gama desteği.
• 
  float INVALID_LUMINANCE Geçersiz parlaklık değeri.

Herkese açık yöntemler:

• 
  float getDesiredMaxAverageLuminance() Şu öğeler için istenen içerik maksimum kare ortalama parlaklık verilerini cd/cd/m² olarak döndürür: bu ekrana göz atın.
• 
  float getDesiredMaxLuminance() Bu ekran için istenen içerik maksimum parlaklık verilerini cd/cd/m² cinsinden döndürür.
• 
  float getDesiredMinLuminance() Bu ekran için istenen içerik minimum parlaklık verilerini cd/cd/m² cinsinden döndürür.
• 
  int[] getSupportedHdrTypes() Bu ekranın desteklenen HDR türlerini alır (sabit değerlere bakın). İade alanı boş dizisinden emin olun.

Kod çözücü

Uygulamalar, Google Haritalar'daki mevcut CodecCapabilities.profileLevels API'sinin kullanımı yeni HDR özellikli profiller:

Dolby-Vision

MediaFormat mime sabiti:

String MIMETYPE_VIDEO_DOLBY_VISION

MediaCodecInfo.CodecProfileLevel profil sabit değeri:

int DolbyVisionProfileDvavPen
int DolbyVisionProfileDvavPer
int DolbyVisionProfileDvheDen
int DolbyVisionProfileDvheDer
int DolbyVisionProfileDvheDtb
int DolbyVisionProfileDvheDth
int DolbyVisionProfileDvheDtr
int DolbyVisionProfileDvheStn

Dolby Vision video katmanları ve meta veriler tek bir katmanda birleştirilmelidir. arabelleğe alma (ör. video uygulamalarına göre) Bu işlem, Dolby-Vision özellikli MediaExtractor.

HEVC HDR 10

MediaCodecInfo.CodecProfileLevel profil sabit değeri:

int HEVCProfileMain10HDR10
int HEVCProfileMain10HDR10Plus

VP9 HLG ve PQ

MediaCodecInfo.CodecProfileLevel profili sabit değerler:

int VP9Profile2HDR
int VP9Profile2HDR10Plus
int VP9Profile3HDR
int VP9Profile3HDR10Plus

Bir platform, HDR özellikli kod çözücüyü destekliyorsa aynı zamanda HDR özellikli ayıklayıcı.

Yalnızca tünelli kod çözücülerin HDR içeriğini oynatması garanti edilir. Oynatma kod çözücüler tarafından, HDR bilgilerinin kaybolmasına neden olabilir. SDR renk hacmine indirgenen içerik.

Çıkarıcı

Çeşitli HDR teknolojileri için aşağıdaki kapsayıcılar desteklenir. Android 7.0'da:

Bir parçanın (dosyanın) HDR desteği gerektirip gerektirmediğinin belirlenmesi olmak üzere iki platform tarafından destekleniyor. Uygulamalar codec'e özel verileri ayrıştırabilir kullanabilirsiniz.

Özet

Her HDR teknolojisi için bileşen gereksinimleri aşağıdaki tabloda gösterilmiştir:

Notlar:

• Dolby-Vision bit akışları, bir MP4 kapsayıcısında belirtilen şekilde paketlenir Dolby tarafından. Uygulamalar kendi Dolby özellikli ayıklayıcılarını karşılık gelen katmanlardaki erişim birimlerini bir Dolby tarafından tanımlanan kod çözücü için tek erişim birimi olmalıdır.
• Bir platform, HDR özellikli bir ayıklayıcıyı destekleyebilir ancak buna karşılık gelen HDR özellikli kod çözücü.

Oynatma

Bir uygulama HDR oynatma desteğini doğruladıktan sonra HDR içeriği oynattığı gibi, HDR olmayan içeriği oynattığı gibi aşağıdaki uyarıları dikkate alın:

• Dolby-Vision için, belirli bir medya dosyasının/parçanın HDR özellikli kod çözücü hemen kullanılamaz. Uygulama, veya bu bilgilere önceden sahip olabilmek mümkün MediaFormat'ın codec'e özel veri bölümünü ayrıştırmaktır.
• CodecCapabilities.isFormatSupported şunları dikkate almaz: Bu tür bir profilin desteklenmesi için tünelli kod çözücü özelliği gereklidir.

HDR platform desteğini etkinleştir

SoC tedarikçileri ve OEM'ler, HDR platformunu etkinleştirmek için ek işler yapmalıdır desteklenmemektedir.

Android 7.0'da HDR için platform değişiklikleri

Platformdaki (uygulama/yerel katman) bazı önemli değişiklikleri burada bulabilirsiniz bilmeniz gerekir.

Ekran

Donanım bileşimi

HDR özellikli platformlar, HDR içeriğin HDR olmayan içerikle karıştırılmasını desteklemelidir. içerik. Karıştırma özellikleri ve işlemleri tam olarak tanımlanmamıştır Android tarafından 7.0 sürümünden itibaren gerçekleştirilir, ancak süreç genellikle şu adımları izler:

1. Dahil edilecek tüm katmanları içeren doğrusal bir renk alanı/hacim belirleme katmanlara göre birleştirilir. renk, uzmanlık ve potansiyel dinamik meta verilerdir.
   Doğrudan bir ekranda birleştiriliyorsa doğrusal alan eşleşen bir etiket ekleyin.
2. Tüm katmanları ortak renk alanına dönüştürün.
3. Karıştırma işlemini gerçekleştirin.
4. HDMI üzerinden görüntüleniyorsa:
   1. Etkinlik için rengi, ana kopyayı ve olası dinamik meta verileri belirlemek üzere farklı olabilir.
   2. Elde edilen karışımlı sahneyi elde edilen renge dönüştürün alan/ses düzeyi.
5. Doğrudan ekranda görüntülüyorsanız, elde edilen karışım Sahneyi gerekli ekran sinyallerine

Görüntülü reklam keşfi

HDR ekran keşfi yalnızca HWC2 üzerinden desteklenir. Cihaz uygulamaları bunun için Android 7.0 ile yayınlanan HWC2 adaptörünü seçerek etkinleştirin çok zor olabiliyor. Bu nedenle, platformlar HWC2 için destek eklemeli veya AOSP çerçevesini kullanarak bu bilgilerin bir yolunu sunar. HWC2, HDR Statik Verileri'ni çerçeveye ve uygulamaya yaymak için kullanılan API.

HDMI

• Bağlı bir HDMI ekranı aşağıdaki şekilde tanımlandığı gibi HDMI EDID üzerinden HDR özelliği CTA-861.3 bölüm 4.2.
• Aşağıdaki EOTF eşlemesi kullanılır:
  • ET_0 Geleneksel gama - SDR Parlaklık Aralığı: hiçbir HDR'ye eşlenmez tür
  • ET_1 Geleneksel gama - HDR Parlaklık Aralığı: hiçbir HDR ile eşlenmez tür
  • ET_2 SMPTE ST 2084 - HDR10 türüyle eşlenmiş
• HDMI üzerinden Dolby Vision veya HLG desteğinin sinyali, tanımlandığı şekilde yapılır ilgili kurumlar tarafından gerçekleştirilmesi gerekir.
• HWC2 API'nin kayan noktalı parlaklık değerlerini kullandığını, dolayısıyla 8 bit EDID değerleri uygun bir şekilde çevrilmelidir.

Kod çözücüler

Platformların HDR özellikli tünel kod çözücüler eklemesi ve HDR özelliklerini tanıtması gerekir. destek. Genel olarak, HDR özellikli kod çözücüler:

• Tünelli kod çözmeyi destekleyin (FEATURE_TunneledPlayback).
• HDR statik meta verilerini destekleme (OMX.google.android.index.describeHDRColorInfo) ve yayılımını etkilemez. HLG için uygun meta veri ekrana gönderilmelidir.
• Destek rengi açıklaması (OMX.google.android.index.describeColorAspects) ve yayılımını etkilemez.
• İlgili standart tarafından tanımlandığı şekilde HDR yerleştirilmiş meta verileri destekleyin.

Dolby Vision kod çözücü desteği

Dolby Vision'ı desteklemek için platformlarda Dolby-Vision özellikli bir platform eklenmelidir HDR OMX kod çözücü. Dolby Vision'ın özellikleri göz önünde bulundurulduğunda bu, bir veya daha fazla AVC ve/veya HEVC kod çözücüsünün çevresindeki sarmalayıcı kod çözücü ve birleşimdir. Bu tür kod çözücüler:

• "video/dolby-vision" MIME türünü destekleyin.
• Desteklenen Dolby Vision profillerini/seviyelerini tanıtın.
• Tüm katmanların alt erişim birimlerini içeren erişim birimlerini şu şekilde kabul edin: Dolby tarafından tanımlanmıştır.
• Dolby tarafından tanımlanan codec'e özel verileri kabul edin. Örneğin, dahili kod çözücüler.
• Dolby Vision profilleri/seviyeleri arasında uyarlanabilir geçişi Dolby tarafından gereklidir.

Kod çözücüyü yapılandırırken gerçek Dolby profili bildirilmez yükleyin. Bu işlem yalnızca kod çözücüden sonra codec'e özel veriler aracılığıyla yapılır başlatıldı. Bir platform birden fazla Dolby Vision'ı desteklemeyi seçebilir kod çözücüler: biri AVC profilleri için ve diğeri HEVC profilleri için; başlatma sırasında temel codec'leri ilk kullanıma hazırlamanız gerekir. Tek bir Dolby Vision ise Kod çözücü her iki profil türünü de destekler, ancak geçişi de desteklemelidir ve buna göre dinamik olarak ayarlayabilirsiniz.

Bir platformda genel HDR kod çözücü desteğini içeriyorsa:

• Dolby-Vision uyumlu ayıklayıcı (desteklemiyor olsa bile) sağlayın. HDR oynatma.
• Dolby tarafından tanımlanan görüş profilini destekleyen bir kod çözücü sağlayın.

HDR10 kod çözücü desteği

HDR10'u desteklemek için platformların HDR10 özellikli OMX kod çözücü eklemesi gerekir. Bu Normalde, ayrıştırma ve işlemeyi de destekleyen tünelli bir HEVC kod çözücüdür. HDMI ile ilgili meta veriler. Böyle bir kod çözücü (genel HDR kod çözücüye ek olarak) desteği) için aşağıdaki şartları yerine getirmelidir:

• "video/hevc" MIME türünü destekleyin.
• Desteklenen HEVCMain10HDR10 uygulamasını tanıtın. HEVCMain10HRD10 profili desteği HEVCMain10 profilinin desteklenmesini de gerektirir ve bunun için aynı düzeylerde HEVCMain profiline sahip olmalıdır.
• Ana kopya meta veri SEI bloklarının ve diğer HDR'nin ayrıştırılmasını destekler ilgili bilgiler bulabilirsiniz.

VP9 kod çözücü desteği

VP9 HDR'yi desteklemek için platformların VP9 Profile2 özellikli bir HDR OMX eklemesi gerekir. kod çözücü. Bu, normalde taşımayı da destekleyen tünelli bir VP9 kod çözücüdür. HDMI ile ilgili meta veriler. Bu tür kod çözücüler (genel HDR kod çözücüye ek olarak) desteği) için aşağıdaki şartları yerine getirmelidir:

• "video/x-vnd.on2.vp9" MIME türünü destekleyin.
• Desteklenen VP9Profile2HDR'yi tanıtın. VP9Profile2HDR profili desteği de VP9Profile2 profilinin aynı düzeyde desteklenmesini gerektirir.

Ayıklayıcılar

Dolby Vision ayıklayıcı desteği

Dolby Vision kod çözücüleri destekleyen platformlar, Dolby ayıklayıcı eklemelidir. Dolby Video içeriği için (Dolby Extractor olarak adlandırılır) destek sunar.

• Normal bir MP4 ayıklayıcı, bir dosyadan yalnızca temel katmanı çıkarabilir, ancak geliştirme veya meta veri katmanlarını değil. Bu nedenle özel bir Dolby ayıklayıcısı dosyadaki verileri ayıklamak için gereklidir.
• Dolby ayıklayıcı, her Dolby video parçası için 1-2 parça göstermelidir. (grup):
  • "Video/dolby-vision" türündeki Dolby Vision HDR parçası - 2/3 katmanlı Dolby akışı içerir. HDR parçasının erişim birimi biçimi. Temel/geliştirme/meta verilerden erişim birimlerinin nasıl paketleneceğini tanımlar kodu tek bir HDR karesine çözülecek tek bir arabellekte birleştirir. Bu, aynı zamanda Dolby tarafından tanımlanmıştır.
  • Dolby Vision video parçası ayrı bir (geriye dönük uyumlu) içeriyorsa kullanıyorsanız ayıklayıcı bunu ayrı bir "video/avc" olarak sunmalıdır. veya "video/hevc" plan yapar ve değişiklikleri uygular. Ayıklayıcı, normal AVC/HEVC erişimi sağlamalıdır birim sayısını artırır.
  • BL yoluyla aynı track-benzersiz-ID ("track-ID") Uygulamanın, bunların aynı iki kodlama olduğunu anlaması için HDR izleme videosunu izleyin.
  • Uygulama, platforma bağlı olarak hangi parkurun seçileceğine karar verebilir. olanağı sunar.
• Dolby Vision profili/seviyesi şu parça biçiminde gösterilmelidir: HDR seçeneğini kullanır.
• Bir platformda Dolby-Vision özellikli kod çözücü sağlanıyorsa ayrıca HDR oynatmayı desteklemese bile Dolby-Vision duyarlı ayıklayıcı.

HDR10 ve VP9 HDR ayıklayıcı desteği

HDR10 veya VP9'u desteklemek için ek ayıklayıcı gereksinimi yoktur. HLG Platformlar MP4 ayıklayıcısını MP4'te VP9 PQ'yu destekleyecek şekilde genişletmelidir. HDR statik meta verilerin VP9 PQ bit akışında yayılması gerekir ve bu şekilde meta veriler VP9 PQ kod çözücüye ve normal MediaExtractor => MediaCodec ardışık düzeni.

Dolby Vision desteği için Stagefright uzantıları

Platformlar, Stagefright'a Dolby Vision biçim desteği eklemelidir:

• Sıkıştırılmış bağlantı noktası için bağlantı noktası tanımı sorgusu desteği.
• DV kod çözücü için destek profili/seviye numarası.
• DV HDR parçaları için DV profili/seviyesinin gösterilmesi desteği.

Teknolojiye özel uygulama ayrıntıları

HDR10 kod çözücü ardışık düzeni

Şekil 1. HDR10 ardışık düzeni

HDR10 bit akışları, MP4 kapsayıcılarında paketlenir. Uygulamalarda, normal MP4 ayıklayıcı ile çerçeve verilerini çıkarın ve kod çözücüye gönderin.

• MPEG4 Ayıklayıcı
  HDR10 bit akışları, bir sunucu tarafından normal bir HEVC akışı olarak MPEG4Extractor ve "video/HEVC" türündeki HDR parçası olacak çıkartılır. Çerçeve, tablodaki bir HEVC video kod çözücüyü Parçanın kodunu çözmek için Main10HDR10 profiline gidin.
• HEVC Kod Çözücü
  HDR bilgileri SEI veya SPS biçimindedir. HEVC kod çözücü ilk olarak alır HDR bilgilerini içeren kareler. Kod çözücü, daha sonra HDR'yi ayıklar bilgi içerir ve uygulamaya bir HDR videonun kodunu çözdüğünü bildirir. HDR bilgiler, kod çözücü çıktı biçiminde gruplandırılır ve bu çıkış biçimi, açıklığa kavuşturursunuz.

Tedarikçi firma işlemleri

1. Desteklenen HDR kod çözücü profilinin ve seviye OMX türünün reklamını yapın. Örnek:
   OMX_VIDEO_HEVCProfileMain10HDR10 (ve Main10)
2. Dizin desteğini uygulayın: "OMX.google.android.index.describeHDRColorInfo"
3. Dizin desteğini uygulayın: "OMX.google.android.index.describeColorAspects"
4. Ana kopya meta verilerinin SEI ayrıştırılması için destek uygulayın.

Dolby Vision kod çözücü ardışık düzeni

Şekil 2. Dolby Vision ardışık düzeni

Dolby-bitstream'ler, aşağıdaki şekilde tanımlanan MP4 kapsayıcılarında paketlenir: DOLby. Uygulamalar, teorik olarak normal bir MP4 ayıklayıcı kullanarak temel katman, geliştirme katmanı ve meta veri katmanını birbirinden bağımsız olarak; ancak, bu, geçerli Android MediaExtractor/MediaCodec modeline uymuyor.

• DolbyExtractor:
  • Dolby-bit akışlar bir DolbyExtractor tarafından tanınır. Bu da her dolby video parçası (grup) için 1 ila 2 parça olarak çeşitli katmanlar:
    • "Video/dolby-vision" türünde bir HDR parçası toplam 2/3 katmanlı Dolby akışı. HDR parçasının erişim birimi biçimini, temel/geliştirme/meta veri katmanlarından erişim birimlerini paketleme kod tek bir HDR karesine dönüştürülmek üzere tek bir arabelleğe dönüştürülmesi, Dolby tarafından.
    • (İsteğe bağlı, yalnızca BL geriye dönük uyumluysa) A BL yolu temel katmanın olması gerekir. Temel katmanın kodu, normal MediaCodec kod çözücüsü ile çözülebilir. örneğin, AVC/HEVC kod çözücü. Ayıklayıcı, normal AVC/HEVC sağlamalıdır erişim birimi oluşturabilirsiniz. Bu BL parkuru aynı benzersiz track-kimliğine sahip olmalıdır ("track-ID") olarak değiştirmelidir. Böylece, uygulama bu aynı videonun iki kodlamasıdır.
  • Uygulama, platforma bağlı olarak hangi parkurun seçileceğine karar verebilir. olanağı sunar.
  • HDR kanalın belirli bir HDR türü olduğundan çerçeve, seçtiğiniz Parçanın kodunu çözmek için Dolby video kod çözücü. BL parkurunun kodu şu kullanıcı tarafından çözülecektir: normal bir AVC/HEVC video kod çözücü olmalıdır.
• DolbyDecoder:
  • DolbyDecoder, gerekli erişimi içeren erişim birimlerini alır. tüm katmanlar için birimler (EL+BL+MD veya BL+MD)
  • tek tek katmanlar, DOLby. Tek bir CSD çerçevesinin olması gerekir.

Dolby işlemleri

1. Çeşitli Dolby kapsayıcı için erişim birimlerinin paketlemesini tanımlayın soyut Dolby kod çözücü (ör. arabellek) için şemalar (ör. BL+EL+MD) biçiminde olur.
2. Soyut Dolby kod çözücü için CSD paketini tanımlayın.

Tedarikçi firma işlemleri

1. Dolby ayıklayıcısını uygulayın. Bu işlem Dolby tarafından da yapılabilir.
2. DolbyExtractor'ı çerçeveye entegre etme. Giriş noktası frameworks/av/media/libstagefright/MediaExtractor.cpp
3. HDR kod çözücü profilini ve OMX düzeyini bildir türü. Örnek: OMX_VIDEO_DOLBYPROFILETYPE ve OMX_VIDEO_DOLBYLEVELTYP.
4. Dizin desteğini uygulayın: 'OMX.google.android.index.describeColorAspects dk.
5. Dinamik HDR meta verilerini her bir uygulamaya ve yüzeye çerçeve. Genellikle bu bilgiler, kodu çözülmüş çerçeve içinde paketlenmelidir Dolby tarafından tanımlandığı gibi, çünkü HDMI standardı bunu ekrana iletebilirsiniz.

VP9 kod çözücü ardışık düzeni

Şekil 3. VP9-PQ ardışık düzeni

VP9 bit akışları, WebM kapsayıcılarında WebM tarafından tanımlanan şekilde paketlenir ekibinde çalışıyorum. Uygulamaların, şu dosyalardan HDR meta verilerini çıkarmak için bir WebM ayıklayıcı kullanması gerekir: bit akışı oluşturur.

• WebM Ayıklayıcısı:
  • WebM Ayıklayıcı, HDR meta verilerini ayıklar ve kareler container'ı seçin.
• VP9 Kod Çözücü:
  • Kod çözücü, Profile2 bit akışlarını alır ve bunların kodunu normal VP9 olarak çözer akışlar.
  • Kod çözücü, tüm HDR statik meta verilerini çerçeveden alır.
  • Kod çözücü, VP9 için bit akışı erişim birimleri aracılığıyla statik meta verileri alır PQ akışları.
  • VP9 kod çözücü, HDR statik/dinamik meta verilerini yayabilmelidir ekleyebilirsiniz.

Tedarikçi firma işlemleri

1. Dizin desteğini uygulayın: OMX.google.android.index.describeHDRColorInfo.
2. Dizin desteğini uygulayın: OMX.google.android.index.describeColorAspects.
3. HDR statik meta verilerini çoğalt