إتاحة استخدام كاميرات متعددة

وفّر نظام التشغيل Android 9 واجهة برمجة تطبيقات لأجهزة الكاميرات المتعدّدة من خلال جهاز كاميرا منطقي جديد يتألف من جهازَي كاميرا أو أكثر موجهَين في الاتجاه نفسه. يتم عرض جهاز الكاميرا المنطقي كجهاز CameraDevice/CaptureSession واحد لتطبيق يتيح التفاعل مع ميزات الكاميرات المتعدّدة المدمجة في HAL. يمكن للتطبيقات اختياريًا الوصول إلى عمليات نقل البيانات الأساسية للكاميرا المادية والبيانات الوصفية وعناصر التحكّم فيها والتحكّم فيها.

إتاحة استخدام كاميرات متعددة

الشكل 1: إتاحة استخدام كاميرات متعددة

في هذا المخطّط البياني، يتم ترميز أرقام تعريف الكاميرات المختلفة حسب اللون. يمكن للتطبيق بثّ ذاكرات التخزين المؤقت الأوّلية من كل كاميرا في الوقت نفسه. من المُمكن أيضًا ضبط عناصر تحكّم منفصلة وتلقّي بيانات وصفية منفصلة من كاميرات خارجية مختلفة.

الأمثلة والمصادر

يجب الإعلان عن الأجهزة المزوّدة بعدّة كاميرات مع توضيح إمكانية استخدام كاميرات متعددة.

يمكن لعملاء الكاميرا الاستعلام عن معرّف الكاميرا للأجهزة المادية التي تتكون منها كاميرا منطقية معيّنة من خلال الاتصال getPhysicalCameraIds(). بعد ذلك، يتم استخدام أرقام التعريف التي يتم عرضها كجزء من النتيجة للتحكّم في الأجهزة المادية بشكل فردي من خلال setPhysicalCameraId(). يمكن الاستعلام عن نتائج هذه الطلبات الفردية من النتيجة الكاملة عن طريق استدعاء getPhysicalCameraResults().

قد لا تتيح طلبات الكاميرات الفردية سوى مجموعة فرعية محدودة من المَعلمات. للحصول على قائمة بالمَعلمات المتوافقة، يمكن للمطوّرين الاتصال بالرقم getAvailablePhysicalCameraRequestKeys().

لا تتوفّر إمكانية بث كاميرات الفيديو إلا لطلبات عدم إعادة المعالجة واستخدام أدوات استشعار الصور الأحادية اللون وأدوات استشعار Bayer فقط.

التنفيذ

قائمة التحقّق من الدعم

لإضافة أجهزة منطقية متعددة الكاميرات من جانب HAL:

بالنسبة إلى الأجهزة التي تعمل بنظام التشغيل Android 9، يجب أن تتيح كاميرات الأجهزة استبدال بث YUV/RAW منطقي واحد ببثّات مادية بالحجم نفسه (لا ينطبق ذلك على أحداث البث بتنسيق RAW) وبالتنسيق نفسه من كاميرتَين ماديتَين. ولا ينطبق ذلك على الأجهزة التي تعمل بنظام التشغيل Android 10.

بالنسبة إلى الأجهزة التي تعمل بنظام التشغيل Android 10 ويكون فيها إصدار جهاز HAL للكاميرا هو 3.5 أو إصدار أحدث، يجب أن يكون جهاز الكاميرا متوافقًا مع isStreamCombinationSupported لكي تتمكّن التطبيقات من الاستعلام عمّا إذا كانت مجموعة بث معيّنة تتضمّن عمليات بث ماديًا متوافقة.

خريطة إعدادات البث

بالنسبة إلى الكاميرا المنطقية، تكون مجموعات البث الإلزامية لجهاز الكاميرا من مستوى أجهزة معيّن مماثلة لما هو مطلوب في CameraDevice.createCaptureSession. يجب أن تكون جميع مصادر البيانات في خريطة إعدادات مصدر البيانات مصادر بيانات منطقية.

بالنسبة إلى جهاز الكاميرا المنطقي الذي يتيح استخدام تنسيق RAW مع كاميرات فرعية مادية بأحجام مختلفة، إذا أعدّ تطبيق بثًا منطقيًا بتنسيق RAW، يجب ألا يبدّل جهاز الكاميرا المنطقي إلى كاميرات فرعية مادية بأحجام مختلفة لأجهزة الاستشعار. ويضمن ذلك عدم تعطُّل تطبيقات الالتقاط الحالية بتنسيق RAW.

للاستفادة من ميزة التكبير/التصغير البصري التي توفّرها HAL من خلال التبديل بين الكاميرات الفرعية المادية أثناء التقاط الصور بتنسيق RAW، يجب أن تهدف التطبيقات إلى ضبط عمليات بث الكاميرات الفرعية المادية بدلاً من بث RAW المنطقي.

مجموعة بثّ مضمونة

يجب أن تضمن كلّ من الكاميرا المنطقية والكاميرات المادية الأساسية مجموعات البث الإلزامية المطلوبة لمستويات الأجهزة.

يجب أن يعمل جهاز الكاميرا المنطقي بالطريقة نفسها التي يعمل بها جهاز كاميرا مادي استنادًا إلى مستوى الأجهزة وإمكاناتها. من المستحسن أن تكون مجموعة ميزاته أكبر من مجموعة ميزات الكاميرات الفردية.

على الأجهزة التي تعمل بنظام التشغيل Android 9، يجب أن توفّر الكاميرا المنطقية كلّ ما يلي لكلّ مجموعة من بثّ الوسائط المضمونة:

  • استبدال بث منطقي واحد بتنسيق YUV_420_888 أو بث عادي ببثَّين ماديَّين بالحجم والتنسيق نفسهما، وكلّ منهما من كاميرا مادية منفصلة، شرط أن يكون الحجم والتنسيق متوافقَين مع الكاميرات المادية

  • إضافة مصدرَين للبثّ بتنسيق RAW، أحدهما من كل كاميرا أساسية، إذا كانت الكاميرا المنطقية لا تعلن عن إمكانية استخدام تنسيق RAW، ولكن الكاميرات الأساسية تفعل ذلك. يحدث ذلك عادةً عندما تكون أحجام أدوات الاستشعار في الكاميرات الأساسية مختلفة.

  • استخدام مصادر بيانات فعلية بدلاً من مصدر بيانات منطقي بالحجم وال التنسيق نفسهما يجب ألا يؤدي ذلك إلى إبطاء عدد اللقطات في الثانية لالتقاط المحتوى عندما يكون الحد الأدنى لمدة اللقطة في البثّين المادي والمنطقي متطابقًا.

اعتبارات الأداء واستهلاك الطاقة

  • الأداء:

    • قد يؤدي ضبط مصادر البث المادي وبثها إلى إبطاء معدل التقاط الكاميرا المنطقية بسبب قيود الموارد.
    • قد يؤدي تطبيق إعدادات الكاميرا المادية إلى إبطاء معدل الالتقاط إذا تم ضبط كاميرات الالتقاط الأساسية على عدد لقطات مختلف في الثانية.

  • الطاقة:

    • يستمر تحسين الطاقة في HAL في العمل في الحالة التلقائية.
    • قد يؤدي ضبط مصادر البيانات المادية أو طلبها إلى إلغاء ميزة تحسين استهلاك الطاقة الداخلية في HAL وزيادة استهلاك الطاقة.

التخصيص

يمكنك تخصيص عملية تنفيذ الجهاز بالطرق التالية:

  • يعتمد الإخراج المجمّع لجهاز الكاميرا المنطقي بالكامل على تنفيذ HAL. إنّ قرار كيفية إنشاء أحداث الفيديو المجمّعة من الكاميرات الفعلية يكون واضحًا للتطبيق وإطار عمل كاميرا Android.
  • يمكن أن تكون الطلبات والنتائج المادية الفردية متاحة اختياريًا. تعتمد مجموعة المَعلمات المتاحة في هذه الطلبات أيضًا بالكامل على طريقة تنفيذ HAL المحدّدة.
  • اعتبارًا من Android 10، يمكن أن يحدّ HAL من عدد الكاميرات التي يمكن للتطبيق فتحها مباشرةً من خلال اختيار عدم نشر بعض PHYSICAL_IDs أو كلها في getCameraIdList. بعد ذلك، يجب أن يؤدي الاتصال بـ getPhysicalCameraCharacteristics إلى عرض خصائص الكاميرا الفعلية.

التحقُّق

يجب أن تجتاز الأجهزة المنطقية المزوّدة بعدة كاميرات اختبار CTS الخاص بالكاميرا مثل أي كاميرا عادية أخرى. يمكن العثور على حالات الاختبار التي تستهدف هذا النوع من الأجهزة في ملف برمجي LogicalCameraDeviceTest.

تستهدف اختبارات ITS الثلاثة هذه أنظمة الكاميرات المتعدّدة لتسهيل دمج الصور بشكلٍ سليم:

يتم إجراء اختبارَي المشهد 1 والمشهد 4 باستخدام تجهيزات اختبار ITS-in-a-box. يؤكد اختبار test_multi_camera_match أنّ سطوع وسط الصور يتطابق عندما تكون كلتا الكاميراَين مفعّلتَين. يُثبت اختبار test_multi_camera_alignment أنّه تم تحميل مَعلمات المسافات بين الكاميرات واتجاهاتها والتشوه بشكلٍ صحيح. إذا كان نظام الكاميرات المتعدّدة يتضمّن كاميرا ذات مجال رؤية واسع (>90 درجة)، يجب استخدام الإصدار 2 من مربّع ITS.

Sensor_fusion هو جهاز اختبار ثانٍ يتيح تحرُّكًا متكررًا ومُحدَّدًا للهاتف ويؤكد تطابق الطوابع الزمنية لجهاز الاستشعار الدوراني وجهاز استشعار الصور، بالإضافة إلى التزامن بين اللقطات الملتقطة بعدة كاميرات.

تتوفّر جميع العلب من خلال شركة AcuSpec, Inc. (www.acuspecinc.com، fred@acuspecinc.com) وشركة MYWAY Manufacturing (www.myway.tw، sales@myway.tw). بالإضافة إلى ذلك، يمكن شراء علبة ITS من الإصدار 1 من خلال West-Mark (www.west-mark.com، dgoodman@west-mark.com).

أفضل الممارسات

للاستفادة بشكل كامل من الميزات التي تتيحها ميزة "الكاميرات المتعدّدة" مع الحفاظ على توافق التطبيق، اتّبِع أفضل الممارسات التالية عند تنفيذ جهاز منطقي "للكاميرات المتعدّدة":

  • (Android 10 أو إصدار أحدث) إخفاء الكاميرات الفرعية الفعلية من getCameraIdList ويؤدي ذلك إلى تقليل عدد الكاميرات التي يمكن للتطبيقات فتحها مباشرةً، ما يغني التطبيقات عن استخدام منطق معقد لاختيار الكاميرا.
  • (الإصدار 11 من نظام التشغيل Android أو الإصدارات الأحدث) بالنسبة إلى جهاز كاميرا متعدّدة منطقي يدعم التكبير/التصغير البصري، يمكنك استخدام واجهة برمجة التطبيقات ANDROID_CONTROL_ZOOM_RATIO واستخدام ANDROID_SCALER_CROP_REGION لاقتصاص الصور حسب نسبة العرض إلى الارتفاع فقط. ANDROID_CONTROL_ZOOM_RATIO يتيح هذا الزر للجهاز تصغير الصورة والحفاظ على دقة أفضل. في هذه الحالة، يجب أن يعدّل HAL نظام الإحداثيات في ANDROID_SCALER_CROP_REGION، ANDROID_CONTROL_AE_REGIONS، ANDROID_CONTROL_AWB_REGIONS، ANDROID_CONTROL_AF_REGIONS، ANDROID_STATISTICS_FACE_RECTANGLES، وANDROID_STATISTICS_FACE_LANDMARKS لمعالجة مجال الرؤية بعد التكبير كصفيف نشط لجهاز الاستشعار. لمزيد من المعلومات حول كيفية استخدام ANDROID_SCALER_CROP_REGION مع ANDROID_CONTROL_ZOOM_RATIO، يُرجى الاطّلاع على camera3_crop_reprocess#cropping.
  • بالنسبة إلى الأجهزة المزوّدة بعدة كاميرات خارجية لها قدرات مختلفة، تأكَّد من أنّ الجهاز يعلن عن توافقه مع قيمة أو نطاق معيّنَين لأحد عناصر التحكّم فقط إذا كان نطاق التكبير/التصغير بأكمله متوافقًا مع القيمة أو النطاق. على سبيل المثال، إذا كانت الكاميرا المنطقية تتألف من كاميرا فائقة العرض وكاميرا بزاوية عريضة وكاميرا مقرِّبة، عليك اتّباع الخطوات التالية:
    • إذا كانت أحجام المصفوفات النشطة للكاميرات الفعلية مختلفة، يجب أن يُجري واجهة HAL للكاميرا عملية الربط من المصفوفات النشطة للكاميرات الفعلية إلى المصفوفة النشطة للكاميرا المنطقية لكل من ANDROID_SCALER_CROP_REGION، ANDROID_CONTROL_AE_REGIONS، ANDROID_CONTROL_AWB_REGIONS، ANDROID_CONTROL_AF_REGIONS، ANDROID_STATISTICS_FACE_RECTANGLES، وANDROID_STATISTICS_FACE_LANDMARKS كي يكون نظام الإحداثيات من منظور التطبيق هو حجم المصفوفة النشطة للكاميرا المنطقية.
    • إذا كانت الكاميرا ذات الزاوية الواسعة والكاميرا المقرِّبة تتيحان ميزة التركيز التلقائي، ولكن الكاميرا الفائقة العرض تتضمّن تركيزًا ثابتًا، تأكَّد من أنّ الكاميرا المنطقية تعرض ميزة التركيز التلقائي. يجب أن يحاكي HAL آلة حالة التركيز التلقائي للكاميرا المزوّدة بعدسة لالتقاط الصور الموسّعة، بحيث لا يلاحظ التطبيق أنّ الكاميرا الأساسية ذات تركيز ثابت عندما يكبِّر التطبيق الصورة باستخدام العدسة الموسّعة، وتعمل آلات حالة التركيز التلقائي لأوضاع التركيز التلقائي المتوافقة على النحو المُتوقَّع.
    • إذا كانت الكاميرا ذات الزاوية الواسعة والكاميرا ذات الزاوية المقرّبة تتيحان تسجيل الفيديوهات بدقة 4K بمعدّل 60 لقطة في الثانية، وكانت الكاميرا ذات الزاوية الفائقة تتيح تسجيل الفيديوهات بدقة 4K بمعدّل 30 لقطة في الثانية أو 1080p بمعدّل 60 لقطة في الثانية فقط، ولكن لا تتيح تسجيل الفيديوهات بدقة 4K بمعدّل 60 لقطة في الثانية، تأكَّد من أنّ الكاميرا المنطقية لا تعرض دقة 4K بمعدّل 60 لقطة في الثانية في إعدادات البث المتوافقة. يضمن ذلك سلامة إمكانات الكاميرا المنطقية، ما يضمن عدم مواجهة التطبيق لمشكلة عدم تحقيق دقة 4K بمعدل 60 لقطة في الثانية عند قيمة ANDROID_CONTROL_ZOOM_RATIO أقل من 1.
  • بدءًا من Android 10، لن يكون من الضروري توفُّر كاميرا منطقية متعددة لتفعيل مجموعات البث التي تتضمّن أحداث بث مادي. إذا كان HAL يتيح الجمع مع أحداث البث المباشر:
    • (Android 11 أو إصدار أحدث) للتعامل بشكل أفضل مع حالات الاستخدام مثل العمق من الاستيريو وتتبُّع الحركة، اجعل مجال الرؤية لمخرجات البث المادي أكبر ما يمكن أن يحققه الجهاز. ومع ذلك، إذا كان البثّ المادي والبثّ المنطقي ينبعان من الكاميرا المادية نفسها، قد تفرض قيود الأجهزة أن يكون مجال رؤية البثّ المادي مطابقًا لتلك الخاصة بالبثّ المنطقي.
    • لحلّ مشكلة الضغط على الذاكرة الناتجة عن مصادر بيانات متعددة، تأكَّد من أنّ التطبيقات تستخدم discardFreeBuffers لإلغاء تخصيص ذاكرة التخزين المؤقت المجانية (ذاكرة التخزين المؤقت التي يُطلقها المستخدِم، ولكن لم يُخرجها المنتج من "قائمة الانتظار" بعد) إذا كان من المتوقّع أن يكون مصدر البيانات في وضعٍ شغِلٍ فاترٍ لفترة زمنية.
    • إذا لم تكن عمليات البث المباشر من كاميرات خارجية مختلفة مرتبطة عادةً بالطلب نفسه، تأكَّد من أنّ التطبيقات تستخدم surface group كي يتم استخدام قائمة انتظار واحدة للذاكرة المؤقتة لدعم سطحَين موجهَين للتطبيق، وبالتالي تقليل استهلاك الذاكرة.