เกี่ยวกับการโต้ตอบด้วยเสียง

Voice Interaction Service API แสดงภาพรวมของแอปต่างๆ ที่อาจใช้การควบคุมด้วยเสียง คุณพัฒนาการติดตั้งใช้งานได้โดยปฏิบัติตามหลักเกณฑ์ อธิบายไว้ใน การพัฒนาแอป เนื้อหาในคู่มือการผสานรวมนี้จะอธิบายถึงวิธีผสานรวมแอปเหล่านี้เข้ากับ อิมเมจระบบ Android Automotive OS (AAOS) ที่เฉพาะเจาะจง

คำศัพท์

คําศัพท์ที่ใช้ในคู่มือนี้

  • ข้อมูลสนับสนุน เมื่อเซสชันการโต้ตอบด้วยเสียงเริ่มต้น ระบบจะสามารถจับภาพมุมมองและภาพหน้าจอ แล้วส่งผ่านข้อมูลนี้ เซสชันด้วย แอปสามารถแสดงข้อมูลเพิ่มเติมได้โดยใช้ Activity#onProvideAssistData() และ Activity#onProvideAssistContent()
  • Push-to-Talk (PTT) ปุ่มการควบคุมด้วยเสียงที่ใช้โดยปกติ ตรงพวงมาลัย
  • RecognitionService (RS) บริการจดจำเสียงที่แอปใช้ผ่าน SpeechRecognizer API VIA ต้องมีทั้ง VoiceInteractionService และ RecognitionService
  • ฟีเจอร์แตะเพื่อพูด (TTT) ปุ่มควบคุมด้วยเสียงของซอฟต์แวร์ โดยปกติ รวมอยู่ใน UI ของระบบ) ใน Android ฟีเจอร์นี้ยังเรียกว่าท่าทางควบคุม
  • VoiceInteractionService บริการระบบขนาดเล็กที่ใช้งานโดยนักพัฒนาซอฟต์แวร์ VIA บริการที่เลือกจะเชื่อมโยงจากบริการของระบบเมื่อเปิดเครื่อง และทำงานอยู่เสมอ
  • VoiceInteractionSession (VIS) คลาสนี้จะรวมตรรกะทางธุรกิจของการโต้ตอบกับผู้ใช้ โดยมีหน้าที่แสดงสถานะของการโต้ตอบด้วยเสียงแก่ผู้ใช้ จัดการคําขอ VoiceInteractor และรับข้อมูลความช่วยเหลือและภาพหน้าจอ
  • VoiceInteractionSessionService (VSS) บริการ เป็นส่วนหนึ่งของ VIA มีหน้าที่จัดการเซสชันการโต้ตอบด้วยเสียง บริการนี้มีผลผูกพัน จากบริการระบบของ Android ระหว่างการโต้ตอบด้วยเสียงกับผู้ใช้ ตรรกะทางธุรกิจทั้งหมดของเซสชันนี้ติดตั้งใช้งานในคลาส VoiceSession บริการนี้สามารถรับประกันได้ว่าบริการจะยังคงใช้งานได้ในระหว่างเซสชัน Voice ของผู้ใช้รายเดียวเท่านั้น
  • แอปการโต้ตอบด้วยเสียง (VIA) ออกแบบแอป Android เพื่อทำหน้าที่เป็นการควบคุมด้วยเสียง (เรียกว่าผู้ช่วย) แอปเหล่านี้จะระบุได้ด้วยการเพิ่ม VoiceInteractionService ในไฟล์ Manifest คุณเลือกแอปเหล่านี้เป็นค่าเริ่มต้นได้ครั้งละ 1 แอปในระบบ ระบบจะคงไว้เฉพาะแอปเริ่มต้น (เชื่อมโยงจากบริการของระบบ) และแอปดังกล่าวจะเป็นตัวรับเหตุการณ์ Push-To-Talk (PTT) หรือ Tap-To-Talk (TTT)

หน้าที่รับผิดชอบ

ตารางนี้อธิบายความรับผิดชอบของคู่สัญญาแต่ละฝ่าย

ผู้ผลิตรถยนต์ (OEM) AOSP นักพัฒนาแอป
  • สร้างคอมโพเนนต์ที่เข้ากันได้ ระบบสาระบันเทิงที่มี AAOS
  • ใช้อินพุตและเอาต์พุตเสียง รวมถึงคำสั่งให้ดำเนินการ DSP ด้วย (ไม่บังคับ) การตรวจจับได้อีกด้วย
  • ให้สิทธิ์ระบบสำหรับบริการโต้ตอบด้วยเสียง
  • ปฏิบัติตามข้อกําหนดของ VoiceInteractionService เกี่ยวกับการเข้าถึง หน้าจอการตั้งค่าของแอป
  • กำหนดและพัฒนา VoiceInteractionService และ API ที่เกี่ยวข้อง
  • แนบเอกสาร API, โค้ดตัวอย่าง และเอกสารสนับสนุนอื่นๆ เพื่อ ผ่านนักพัฒนาซอฟต์แวร์
  • ให้คําแนะนําเกี่ยวกับ UX พร้อมข้อกําหนดและคําแนะนํา
  • ใช้ VoiceInteractionService API, RecognitionService API และ NotificationListenerService API (ดูคำอธิบายโดยละเอียดที่ การพัฒนาแอป)
  • จัดเตรียม UI ที่ปรับแต่งได้ ซึ่ง OEM สามารถปรับเปลี่ยนให้ตรงกับ ระบบการออกแบบรถยนต์

ข้อกำหนด UX

OEM มีหน้าที่สูงสุดในการมอบประสบการณ์ของผู้ใช้ที่ดีแก่ลูกค้า OEM ต้องตรวจสอบว่าบริการโต้ตอบด้วยเสียงที่ติดตั้งไว้ล่วงหน้าทั้งหมดเป็นไปตามข้อกำหนดที่อธิบายไว้ในผู้ช่วยที่โหลดไว้ล่วงหน้า: หลักเกณฑ์ UX

การใช้งานผู้ช่วยหลัก

แอปพลิเคชันการโต้ตอบด้วยเสียง (VIA) ยานยนต์ทำสิ่งต่อไปนี้

  • [ต้อง] ตอบสนองต่อทริกเกอร์การโต้ตอบด้วยเสียงที่จัดการโดยระบบ (PTT, TTT)
  • [ต้อง] แสดงภาพความคืบหน้าของนักเรียน (เช่น การฟัง การประมวลผล และการดำเนินการตามคำสั่งซื้อ)
  • [ต้อง] ใช้เสียงเพื่อบ่งบอกความเข้าใจและการดำเนินการตามคำขอของผู้ใช้จนเสร็จสมบูรณ์
  • [ต้อง] ทำหน้าที่เป็นโปรแกรมรู้จำเสียงพูดสำหรับแอปอื่นๆ (ดูที่ SpeechRecognizer API)
  • [ควร] ตอบสนองต่อทริกเกอร์คำสั่งให้ดำเนินการ
  • [อาจ] แสดงกิจกรรมการตั้งค่าที่ผู้ใช้สามารถกำหนดค่า VIA นี้ได้ (ตัวอย่างเช่น สิทธิ์ การกำหนดค่าคำสั่งให้ดำเนินการ และการลงชื่อเข้าใช้)
  • [อาจ] จัดการข้อมูลความช่วยเหลือ (Intent#ACTION_ASSIST)
  • [อาจ] รองรับการโต้ตอบด้วยเสียงจากการล็อกปุ่ม (หน้าจอล็อก)

คอมโพเนนต์

ในระดับสูง แอปโต้ตอบด้วยเสียงจะโต้ตอบกับองค์ประกอบต่อไปนี้

ผู้ดำเนินการโต้ตอบด้วยเสียง

รูปที่ 1 นักแสดงโต้ตอบด้วยเสียง

รายละเอียด:

  • VoiceInteractionManagerService บริการของระบบนี้จะรับผิดชอบ จัดการ VIA เริ่มต้นและแสดงฟังก์ชันการทำงานของบริการนี้ต่อระบบที่เหลือ
  • RecognitionService บริการนี้จะแสดงความสามารถในการจดจำคำพูดแก่แอปอื่นๆ ในระบบ
  • SoundTrigger นำการจัดการคำสั่งให้ดำเนินการ ใช้ได้กับ VIA ผ่านทาง AlwaysOnHotwordDetector ได้
  • MediaRecorder ให้สิทธิ์เข้าถึงอินพุตเสียงสำหรับทั้ง การตรวจหาคำสั่งให้ดำเนินการ (เมื่อใช้ CPU) และการจดจำคำพูด
  • PhoneWindowManager/CarInputService บริการเหล่านี้มีหน้าที่รับผิดชอบ (นอกเหนือจากเรื่องอื่นๆ) ในการจัดการเหตุการณ์สำคัญ การกำหนดเส้นทาง PTT ไปยัง VIA โดยใช้ VoiceInteractionManagerService
  • User ผู้ใช้โต้ตอบกับ VIA โดยใช้ทริกเกอร์ (PTT, TTT, คำสั่งให้ดำเนินการ) หรือ UI ของ Voice Plate
  • CarService, Notifications, Media, Telephony, ContactsProvider และอื่นๆ บริการและแอปที่ VoiceInteractionSession ใช้เพื่อดำเนินการตามคําสั่งของผู้ใช้

แนวคิดเฉพาะยานยนต์

AAOS แตกต่างจาก Android ในด้านต่อไปนี้

  • นอกเหนือจากฟังก์ชันการทำงานปกติของ Assistant แล้ว AAOS VIA ยังควบคุมยานพาหนะได้ ฟังก์ชันต่างๆ (เช่น HVAC, ที่นั่ง และไฟภายใน) ฟังก์ชันเหล่านี้ สามารถผสานรวมได้โดยใช้ CarPropertyManager API (ดูข้อมูลเพิ่มเติมที่ อ่าน ยานพาหนะ) ให้ OEM กําหนดค่าการเข้าถึงอย่างถูกต้องตามที่อธิบายไว้ใน รายการที่อนุญาตพิเศษสำหรับสิทธิ์ต่างๆ
  • การปรับแต่งและความสอดคล้องมีความเกี่ยวข้องกับยานยนต์มากกว่ารูปแบบอุปกรณ์อื่นๆ ดูข้อมูลเพิ่มเติมเกี่ยวกับการใช้หลักเกณฑ์เหล่านี้ได้ที่ส่วนการปรับแต่ง