Informacje o interakcjach głosowych

Interfejs API usługi interakcji głosowej zapewnia abstrakcję różnych potencjalnych aplikacji sterowania głosem. Implementacje można tworzyć zgodnie ze wskazówkami opisanymi w artykule o programowaniu aplikacji. Treść tego przewodnika po integracji opisuje, jak zintegrować te aplikacje z konkretnego obrazu systemu operacyjnego Android Automotive (AAOS).

Terminologia

W tym przewodniku używamy tych terminów:

  • Dane wspomagające. Po rozpoczęciu sesji interakcji głosowej system może rejestrować wyświetlenia i zrzuty ekranu oraz przekazywać do sesji. Aplikacje mogą udostępniać dodatkowe informacje, implementując interfejsy Activity#onProvideAssistData()i Activity#onProvideAssistContent().
  • Tryb mówienia (PTT). Przycisk sterowania głosem, zwykle na kierownicy.
  • RecognitionService (RS). Usługa rozpoznawania głosu używana przez aplikacje za pomocą interfejsu API SpeechRecognizer . VIA muszą zawierać zarówno VoiceInteractionService, jak i RecognitionService.
  • Dotknij, by rozmawiać (TTT). Przycisk sterowania głosem (zwykle w ramach interfejsu systemu). W Androidzie jest to też nazywane gesturem asystenta.
  • VoiceInteractionService. Uproszczona usługa systemowa zaimplementowana przez programistę VIA. Wybrana usługa jest powiązana z usługą systemową podczas uruchamiania i jest zawsze uruchomiona.
  • VoiceInteractionSession (VIS). Ta klasa zawiera logikę biznesową dotyczącą interakcji z użytkownikiem. Odpowiada za zaprezentowanie użytkownikowi stan interakcji głosowej, obsługi żądań VoiceInteractor i odbierania danych wspomagających i zrzutów ekranu.
  • VoiceInteractionSessionService (VSS). Usługa będąca częścią VIA, odpowiedzialna za obsługę sesji interakcji głosowej. Ta usługa jest powiązana z usługi systemowej Androida podczas interakcji głosowej z użytkownikiem. Cała logika biznesowa tej sesji jest zaimplementowana w klasie VoiceSession. Ta usługa jest gwarantowana tylko podczas sesji głosowej z jednym użytkownikiem.
  • Aplikacja Interakcja głosowa (VIA). Zaprojektowana aplikacja na Androida służy do sterowania głosem (nazywanym asystentem). Te aplikacje mogą można rozpoznać po umieszczeniu w pliku manifestu elementu VoiceInteractionService. W systemie można jednocześnie wybrać tylko jedną z tych aplikacji jako domyślną. Tylko aplikacja domyślna będzie utrzymywać połączenie (powiązana z usługą systemową) i będzie odbiornikiem zdarzeń Push-To-Talk (PTT) lub Tap-To-Talk (TTT).

Obowiązki

Tabela przedstawia obowiązki każdej ze stron.

producenci samochodów (OEM), AOSP Deweloperzy aplikacji
  • Utwórz zgodny system multimedialno-rozrywkowy z AAOS.
  • Implementacja wejścia i wyjścia audio, opcjonalnie także słowo-klucz na DSP i obsługuje wykrywanie.
  • Przyznaj uprawnienia systemowe usługom interakcji głosowej.
  • Przestrzegaj wymagań VoiceInteractionService dotyczących dostępu do ekranów ustawień aplikacji.
  • Definiowanie i rozwijanie VoiceInteractionService oraz powiązanych z nim interfejsów API.
  • Prześlij dokumentację interfejsu API, przykładowy kod i inne materiały dla programistów VIA.
  • Przekaż wskazówki dotyczące UX wraz z wymaganiami i zaleceniami.
  • Wdróż interfejsy API VoiceInteractionService, RecognitionService i NotificationListenerService (szczegółowe informacje znajdziesz w artykule Tworzenie aplikacji).
  • Udostępnij możliwy do spersonalizowania interfejs, który producent OEM dostosuje do każdego system projektowania aut.

Wymagania dotyczące UX

Producenci urządzeń oryginalnych ponoszą ostateczną odpowiedzialność za zapewnienie klientom dobrych wrażeń. Producenci OEM muszą zadbać o to, aby wszystkie wstępnie zainstalowane usługi interakcji głosowej spełniały wymagania opisane w wstępnie zainstalowanych asystentach: wskazówki dotyczące UX.

Podstawowe funkcje Asystenta

Aplikacja do interakcji głosowej w samochodach (VIA) wykonuje te czynności:

  • [MUSISZ] Reagować na aktywatory interakcji głosowych obsługiwane przez system (PTT, TTT).
  • [MUSISZ] wyświetlać wizualizację postępów (np. słuchanie, przetwarzania i realizowania zamówień).
  • [MUSZĄ] Użyć głosu lub dźwięków, aby pokazać, że użytkownik zrozumie i zakończy rozmowę. żądań.
  • [MUSISZ] używać jako modułu rozpoznawania mowy w innych aplikacjach (zobacz Speechrozpoznar API).
  • [SHOULD] Odpowiedź na słowo-klucz.
  • [MAJ] Wyświetla działanie związane z ustawieniami, w którym użytkownicy mogą skonfigurować ten interfejs VIA (na przykład uprawnienia, konfigurację słowa-klucza i logowanie).
  • [MAY] Obsługa danych pomocy (Intent#ACTION_ASSIST)
  • [MAJ] Obsługa interakcji głosowych z klawiaturą (ekran blokady).

Komponenty

Ogólnie rzecz biorąc, aplikacja do interakcji głosowej wchodzi w interakcje z tymi podmiotami:

Użytkownicy, którzy wykonali interakcję głosową

Rysunek 1. Użytkownicy, którzy wykonali interakcję głosową

Szczegóły:

  • VoiceInteractionManagerService Ta usługa systemowa jest odpowiedzialna za zarządzanie domyślnym interfejsem VIA i udostępnianie jego działania pozostałym użytkownikom systemu.
  • RecognitionService Ta usługa udostępnia rozpoznawanie mowy możliwości innych aplikacji w systemie.
  • SoundTrigger Implementuje zarządzanie słowami kluczowymi dostępne w VIA przy użyciu funkcji AlwaysOnHotwordDetector.
  • MediaRecorder Zapewnia dostęp do wejścia audio wykrywanie słowa-klucza (w przypadku korzystania z procesora) i rozpoznawania mowy.
  • PhoneWindowManager/CarInputService. Te które odpowiadają między innymi za obsługę kluczowych zdarzeń, PTT na VIA przy użyciu: VoiceInteractionManagerService.
  • User Użytkownik wchodzi w interakcję z interfejsem VIA za pomocą reguł (PTT, TTT, słowo-klucz) lub interfejsu Voice Plate.
  • CarService, Notifications, Media, Telephony, ContactsProvider itd. Usługi i aplikacje używane przez VoiceInteractionSession do wykonywać polecenia użytkownika.

Pojęcia związane z motoryzacją

AAOS różni się od Androida pod tym względem:

  • Poza zwykłymi funkcjami Asystenta AAOS VIA może sterować pojazdem (na przykład ogrzewania/wentylacji/klimatyzacji, foteli i oświetlenia wnętrza). Te funkcje można zintegrować przy użyciu interfejsu API CarpropertyManager (więcej informacji znajdziesz w artykule Przeczytaj właściwości pojazdu), dostawcy OEM prawidłowo skonfigurowali dostęp zgodnie z opisem w Dodawanie uprawnień z podwyższonymi uprawnieniami –
  • Dostosowywanie i spójność są ważniejsze w branży motoryzacyjnej niż na innym formacie. Aby dowiedzieć się więcej o wdrażaniu tych wytycznych, zapoznaj się z artykułem Dostosowywanie.