حول التفاعل الصوتي

توفر واجهة برمجة تطبيقات خدمة التفاعل الصوتي فكرة عن تطبيقات التحكم الصوتي المختلفة المحتملة. يمكن تطوير عمليات التنفيذ باتباع الإرشادات الموضحة في تطوير التطبيق . يصف المحتوى الموجود في دليل التكامل هذا كيفية دمج هذه التطبيقات في صورة نظام تشغيل Android Automotive OS (AAOS) محددة.

المصطلح

يتم استخدام هذه المصطلحات من خلال هذا الدليل:

  • مساعدة البيانات. عند بدء جلسة تفاعل صوتي، يكون النظام قادرًا على التقاط المشاهدات ولقطات الشاشة، وتمرير هذه المعلومات إلى الجلسة. يمكن للتطبيقات الكشف عن معلومات إضافية عن طريق تنفيذ Activity#onProvideAssistData() و Activity#onProvideAssistContent() .
  • الضغط والتحدث (PTT) . زر التحكم الصوتي المادي، الذي يوجد عادة في عجلة القيادة.
  • خدمة الاعتراف (RS). خدمة التعرف على الصوت التي تستخدمها التطبيقات من خلال SpeechRecognizer API. يجب أن تتضمن VIA كلاً من VoiceInteractionService و RecognitionService .
  • اضغط للتحدث (TTT) . زر التحكم الصوتي للبرنامج، والذي يتم تضمينه عادةً كجزء من واجهة مستخدم النظام). في Android يُشار إلى هذا أيضًا باسم Assist Gesture .
  • VoiceInteractionService خدمة نظام خفيفة الوزن ينفذها مطور VIA. الخدمة المحددة مرتبطة بخدمة النظام عند التمهيد، وتكون قيد التشغيل دائمًا.
  • جلسة التفاعل الصوتي (VIS). تحتوي هذه الفئة على منطق عمل تفاعل المستخدم. وهو مسؤول عن تزويد المستخدم بحالة التفاعل الصوتي والتعامل مع طلبات VoiceInteractor وتلقي المساعدة وبيانات لقطة الشاشة.
  • خدمة VoiceInteractionSession (VSS). خدمة، جزء من VIA، مسؤولة عن التعامل مع جلسة التفاعل الصوتي. ترتبط هذه الخدمة بخدمة نظام Android أثناء التفاعل الصوتي مع المستخدم. يتم تنفيذ كل منطق الأعمال لهذه الجلسة في فئة VoiceSession . يتم ضمان بقاء هذه الخدمة على قيد الحياة فقط خلال جلسة صوتية لمستخدم واحد.
  • تطبيق التفاعل الصوتي (VIA). تطبيق Android مصمم ليكون بمثابة تحكم صوتي (يشار إليه بالمساعد ). يمكن التعرف على هذه التطبيقات من خلال تضمين VoiceInteractionService في بيانها. يمكن تحديد تطبيق واحد فقط من هذه التطبيقات كتطبيق افتراضي في نفس الوقت في النظام. سيتم الاحتفاظ بالتطبيق الافتراضي فقط (منضمًا من خدمة النظام)، وسيكون متلقيًا لأحداث الضغط والتحدث (PTT) أو الضغط للتحدث (TTT) .

المسؤوليات

ويصف هذا الجدول مسؤوليات كل طرف.

مصنعي السيارات (مصنعي المعدات الأصلية) AOSP مطورو التطبيقات
  • قم ببناء نظام معلومات ترفيهي متوافق مع AAOS.
  • قم بتنفيذ إدخال وإخراج الصوت، بما في ذلك دعم الكشف عن الكلمات المهمة لـ DSP بشكل اختياري.
  • منح أذونات مميزة من قبل النظام لخدمات التفاعل الصوتي.
  • احترام متطلبات VoiceInteractionService فيما يتعلق بالوصول إلى شاشات إعدادات التطبيق.
  • تحديد وتطوير VoiceInteractionService وواجهات برمجة التطبيقات ذات الصلة.
  • توفير وثائق واجهة برمجة التطبيقات (API) ونموذج التعليمات البرمجية ومواد الدعم الأخرى لمطوري شركة VIA.
  • تقديم إرشادات تجربة المستخدم مع المتطلبات والتوصيات.
  • تنفيذ واجهة برمجة تطبيقات VoiceInteractionService وواجهة برمجة تطبيقات RecognitionService وواجهة برمجة تطبيقات NotificationListenerService (راجع الوصف التفصيلي في تطوير التطبيق ).
  • توفير واجهة مستخدم قابلة للتخصيص يمكن تعديلها بواسطة مصنعي المعدات الأصلية لتتناسب مع كل نظام تصميم سيارة.

متطلبات تجربة المستخدم

يتحمل مصنعو المعدات الأصلية المسؤولية النهائية عن توفير تجربة مستخدم جيدة للعملاء. يجب على مصنعي المعدات الأصلية التأكد من أن جميع خدمات التفاعل الصوتي المثبتة مسبقًا تفي بالمتطلبات الموضحة في المساعدين المحملين مسبقًا: إرشادات UX .

تجربة المساعد الأساسية

يقوم تطبيق التفاعل الصوتي التلقائي (VIA) بتنفيذ الإجراءات التالية:

  • [يجب] الاستجابة لمحفزات التفاعل الصوتي التي يتعامل معها النظام (PTT، TTT).
  • [يجب] عرض تمثيل مرئي لتقدمهم (على سبيل المثال، الاستماع والمعالجة والوفاء).
  • [يجب] استخدام الصوت أو الأصوات للإشارة إلى فهم طلبات المستخدم واستكمالها.
  • [يجب] أن يكون بمثابة أداة التعرف على الكلام للتطبيقات الأخرى (راجع SpeechRecognizer API ).
  • [ينبغي] الرد على مشغل الكلمة المهمة.
  • [قد] عرض نشاط الإعدادات حيث يمكن للمستخدمين تكوين VIA (على سبيل المثال، الأذونات وتكوين الكلمات المهمة وتسجيل الدخول).
  • [MAY] التعامل مع البيانات المساعدة ( Intent#ACTION_ASSIST )
  • [قد] دعم التفاعل الصوتي من Keyguard (شاشة القفل).

عناصر

على مستوى عالٍ، يتفاعل تطبيق التفاعل الصوتي مع هؤلاء الممثلين:

الجهات الفاعلة التفاعل الصوتي

الشكل 1. الجهات الفاعلة التفاعل الصوتي

تفاصيل:

  • VoiceInteractionManagerService . خدمة النظام هذه مسؤولة عن إدارة VIA الافتراضية وكشف وظائفها لبقية النظام.
  • RecognitionService تكشف هذه الخدمة إمكانات التعرف على الكلام لتطبيقات أخرى في النظام.
  • SoundTrigger . ينفذ إدارة الكلمات المهمة وهو متاح لـ VIAs من خلال AlwaysOnHotwordDetector.
  • MediaRecorder . يوفر الوصول إلى إدخال الصوت لاكتشاف الكلمات المهمة (عند استخدام وحدة المعالجة المركزية) والتعرف على الكلام.
  • PhoneWindowManager / CarInputService . هذه الخدمات مسؤولة (من بين أمور أخرى) عن التعامل مع الأحداث الرئيسية، وتوجيه الضغط والتحدث إلى VIA، عن طريق VoiceInteractionManagerService .
  • User . يتفاعل المستخدم مع VIA عن طريق المشغلات (PTT، TTT، Hotword) أو واجهة المستخدم للوحة الصوت.
  • خدمة السيارات، والإشعارات، والوسائط، والاتصال الهاتفي، وموفر جهات الاتصال، وما إلى ذلك. الخدمات والتطبيقات التي تستخدمها VoiceInteractionSession لتنفيذ أوامر المستخدم.

مفاهيم خاصة بالسيارات

يختلف AAOS عن Android في الجوانب التالية:

  • إلى جانب وظائف المساعد العادية، يمكن لـ AAOS VIAs التحكم في وظائف السيارة (على سبيل المثال، HVAC، والمقاعد، والأضواء الداخلية). يمكن دمج هذه الوظائف باستخدام واجهة برمجة تطبيقات CarPropertyManager (اطلع على المزيد في قراءة خاصية السيارة ) بشرط قيام مصنعي المعدات الأصلية بتكوين الوصول بشكل صحيح كما هو موضح في القائمة المسموح بها للأذونات المميزة .
  • يعد التخصيص والاتساق أكثر أهمية في مجال السيارات منه في أي عامل شكل آخر. راجع التخصيص لقراءة المزيد حول تنفيذ هذه الإرشادات.