על אינטראקציה קולית

ה-Voice Interaction Service API מספק הפשטה על פני אפליקציות שליטה קוליות פוטנציאליות שונות. ניתן לפתח יישום בהתאם להנחיות המתוארות בפיתוח אפליקציה . התוכן במדריך שילוב זה מתאר כיצד לשלב אפליקציות אלה בתמונת מערכת ספציפית של מערכת ההפעלה Android Automotive (AAOS).

טרמינולוגיה

מונחים אלה משמשים באמצעות מדריך זה:

  • נתוני סיוע. כאשר מופעלת אינטראקציה קולית, המערכת מסוגלת ללכוד תצוגות וצילומי מסך, ולהעביר מידע זה לסשן. אפליקציות יכולות לחשוף מידע נוסף על ידי יישום Activity#onProvideAssistData() ו- Activity#onProvideAssistContent() .
  • לחץ כדי לדבר (PTT) . לחצן שליטה קולית פיזית, ממוקם בדרך כלל בגלגל ההגה.
  • RecognitionService (RS). שירות זיהוי קולי בשימוש אפליקציות דרך ה-API של SpeechRecognizer . VIA חייב לכלול גם את VoiceInteractionService וגם את RecognitionService .
  • הקש כדי לדבר (TTT) . כפתור שליטה קולית בתוכנה, כלול בדרך כלל כחלק מממשק המשתמש של המערכת). באנדרואיד זה מכונה גם Assist Gesture .
  • VoiceInteractionService . שירות מערכת קל משקל מיושם על ידי מפתח VIA. השירות הנבחר מאוגד משירות המערכת בעת האתחול, ופועל תמיד.
  • VoiceInteractionSession (VIS). מחלקה זו מקפלת את ההיגיון העסקי של אינטראקציית המשתמש. היא אחראית להציג למשתמש את סטטוס האינטראקציה הקולית, טיפול בבקשות VoiceInteractor וקבלת נתוני סיוע וצילום מסך.
  • VoiceInteractionSessionService (VSS). שירות, חלק מ-VIA, האחראי על טיפול בסשן אינטראקציה קולית. שירות זה כרוך משירות המערכת של אנדרואיד במהלך אינטראקציה קולית עם משתמש. כל ההיגיון העסקי של הפגישה הזו מיושם בשיעור VoiceSession . שירות זה מובטח להישאר בחיים רק במהלך סשן קולי של משתמש בודד.
  • אפליקציית אינטראקציה קולית (VIA). אפליקציית אנדרואיד שנועדה לשמש כשליטה קולית (המכונה עוזר ). ניתן לזהות אפליקציות אלו על ידי הכללת VoiceInteractionService במניפסט שלהן. רק אחת מהאפליקציות הללו יכולה להיבחר כברירת מחדל בכל פעם במערכת. רק אפליקציית ברירת המחדל תישמר חיה (מחוברת משירות מערכת), ותהיה המקלט של אירועי Push-To-Talk (PTT) או Tap-To-Talk (TTT) .

אחריות

טבלה זו מתארת ​​את תחומי האחריות של כל צד.

יצרני רכב (OEM) AOSP מפתחי אפליקציות
  • בנה מערכת מידע בידור תואמת עם AAOS.
  • הטמע קלט ופלט אודיו, אופציונלי כולל תמיכה בזיהוי מילות הפעלה DSP.
  • הענק הרשאות מוסמכות למערכת עבור שירותי האינטראקציה הקולית.
  • כבד את דרישות VoiceInteractionService לגבי גישה למסכי ההגדרות של האפליקציה.
  • הגדר ופתח VoiceInteractionService וממשקי API קשורים.
  • ספק תיעוד API, קוד לדוגמה וחומר תמיכה אחר למפתחי VIA.
  • לספק הנחיות UX עם דרישות והמלצות.
  • יישם VoiceInteractionService API, RecognitionService API ו-NotificationListenerService API (ראה תיאור מפורט בפיתוח אפליקציה ).
  • ספק ממשק משתמש הניתן להתאמה אישית שניתן להתאים על ידי יצרני OEM כך שיתאים לכל מערכת עיצוב מכונית.

דרישות UX

ליצרני OEM מוטלת האחריות הסופית לספק חווית משתמש טובה ללקוחות. יצרני ציוד מקורי חייבים להבטיח שכל שירותי האינטראקציה הקולית שהותקנו מראש עומדים בדרישות המתוארות במסייעים טעונים מראש: הנחיות UX .

ניסיון בסיס עוזר

אפליקציית אינטראקציה קולית לרכב (VIA) מבצעת את הפעולות הבאות:

  • [חייב] להגיב לטריגרים של אינטראקציה קולית המטופלים במערכת (PTT, TTT).
  • [חייב] להציג ייצוג חזותי של ההתקדמות שלהם (לדוגמה, הקשבה, עיבוד והגשמה).
  • [חייב] להשתמש בקול או בצלילים כדי לציין הבנה והשלמה של בקשות משתמשים.
  • [חייב] לשמש כמזהה דיבור עבור אפליקציות אחרות (ראה את ה- SpeechRecognizer API ).
  • [צריך] להגיב להפעלת מילת הפעלה.
  • [מאי] הצג פעילות הגדרות שבה משתמשים יכולים להגדיר את ה-VIA הזה (לדוגמה, הרשאות, תצורת מילת הפעלה וכניסה).
  • [מאי] טיפול בנתוני סיוע ( Intent#ACTION_ASSIST )
  • [מאי] תמיכה באינטראקציה קולית מ-Keyguard (מסך נעילה).

רכיבים

ברמה גבוהה, אפליקציית אינטראקציה קולית מקיימת אינטראקציה עם השחקנים הבאים:

שחקני אינטראקציה קולית

איור 1. שחקנים באינטראקציה קולית

פרטים:

  • VoiceInteractionManagerService . שירות מערכת זה אחראי על ניהול ברירת המחדל של VIA, וחשיפת הפונקציונליות שלו לשאר המערכת.
  • RecognitionService . שירות זה חושף יכולות זיהוי דיבור לאפליקציות אחרות במערכת.
  • SoundTrigger . מיישמת ניהול מילות הפעלה וזה זמין ל-VIA דרך AlwaysOnHotwordDetector.
  • MediaRecorder . מספק גישה לקלט שמע הן עבור זיהוי מילות הפעלה (בעת שימוש במעבד) והן לזיהוי דיבור.
  • PhoneWindowManager / CarInputService . שירותים אלו אחראים (בין היתר) לטיפול באירועי מפתח, ניתוב PTT ל-VIA, באמצעות VoiceInteractionManagerService .
  • User . המשתמש מקיים אינטראקציה עם VIA באמצעות טריגרים (PTT, TTT, Hotword) או ממשק המשתמש של Voice Plate.
  • CarService, Notifications, Media, Telephony, ContactsProvider וכן הלאה. שירותים ואפליקציות המשמשים את VoiceInteractionSession למילוי פקודות המשתמש.

מושגים ספציפיים לרכב

AAOS שונה מאנדרואיד בהיבטים הבאים:

  • מלבד הפונקציות הרגילות של ה-Assistant, AAOS VIA יכול לשלוט בפונקציות הרכב (לדוגמה, HVAC, מושבים ואורות פנים). ניתן לשלב פונקציונליות אלה באמצעות ה-API של CarPropertyManager (ראה עוד ב- Read a vehicle ) בתנאי שיצרני OEM מגדירים את הגישה בצורה נכונה כמתואר ברשימת ההיתרים של הרשאות מורשות .
  • התאמה אישית ועקביות רלוונטיים יותר ברכב מאשר בכל גורם צורה אחר. ראה התאמה אישית כדי לקרוא עוד על יישום הנחיות אלה.