Sobre a interação por voz

A API do Voice Interaction Service fornece uma abstração sobre diferentes aplicativos de controle de voz em potencial. As implementações podem ser desenvolvidas seguindo as diretrizes descritas em Desenvolvimento de Aplicativos . O conteúdo deste guia de integração descreve como integrar esses aplicativos em uma imagem de sistema Android Automotive OS (AAOS) específica.

Terminologia

Estes termos são usados ​​neste guia:

• Dados de assistência. Quando uma sessão de interação por voz é iniciada, o sistema é capaz de capturar exibições e capturas de tela e passar essas informações para a sessão. Os aplicativos podem expor informações adicionais implementando Activity#onProvideAssistData() e Activity#onProvideAssistContent() .
• Pressione para falar (PTT) . Botão de controle de voz físico, geralmente localizado no volante.
• Serviço de Reconhecimento (RS). Serviço de reconhecimento de voz usado por aplicativos por meio da API SpeechRecognizer . Os VIAs devem incluir o VoiceInteractionService e o RecognitionService .
• Toque para falar (TTT) . Botão de controle de voz do software, geralmente incluído como parte da interface do usuário do sistema). No Android, isso também é conhecido como Assist Gesture .
• VoiceInteractionService . Serviço de sistema leve implementado pelo desenvolvedor VIA. O serviço selecionado é vinculado ao serviço do sistema na inicialização e está sempre em execução.
• VoiceInteractionSession (VIS). Essa classe encapsula a lógica de negócios da interação do usuário. Ele é responsável por apresentar ao usuário o status da interação de voz, tratar as solicitações do VoiceInteractor e receber dados de assistência e captura de tela.
• VoiceInteractionSessionService (VSS). Um serviço, parte de um VIA, responsável por gerenciar uma sessão de interação de voz. Este serviço é vinculado ao serviço do sistema Android durante uma interação de voz com um usuário. Toda a lógica de negócio desta sessão é implementada na classe VoiceSession . Este serviço só tem garantia de permanecer ativo durante uma única sessão de voz do usuário.
• Aplicativo de Interação de Voz (VIA). Aplicativo Android projetado para servir como um controle de voz (referido como assistente ). Esses aplicativos podem ser identificados incluindo um VoiceInteractionService em seu manifesto. Apenas um desses aplicativos pode ser selecionado como padrão por vez no sistema. Somente o aplicativo padrão será mantido ativo (vinculado a um serviço do sistema) e será o receptor de eventos Push-To-Talk (PTT) ou Tap-To-Talk (TTT) .

responsabilidades

Esta tabela descreve as responsabilidades de cada parte.

Requisitos de UX

Os OEMs têm a responsabilidade final de fornecer uma boa experiência de usuário aos clientes. Os OEMs devem garantir que todos os serviços de interação por voz pré-instalados atendam aos requisitos descritos em Assistentes pré-carregados: Orientação de UX .

Experiência básica do assistente

Um Aplicativo de Interação por Voz (VIA) automotivo executa as seguintes ações:

• [DEVE] Responder aos acionadores de interação de voz controlados pelo sistema (PTT, TTT).
• [DEVE] Exibir uma representação visual de seu progresso (por exemplo, ouvindo, processando e cumprindo).
• [DEVE] Use voz ou sons para indicar a compreensão e a conclusão das solicitações do usuário.
• [DEVE] Servir como um reconhecedor de fala para outros aplicativos (consulte a API SpeechRecognizer ).
• [DEVE] Responder a um gatilho de hotword.
• [MAIO] Exibe uma atividade de configurações onde os usuários podem configurar este VIA (por exemplo, permissões, configuração de hotword e login).
• [MAY] Processar dados de assistência ( Intent#ACTION_ASSIST )
• [MAIO] Suporta interação de voz do Keyguard (tela de bloqueio).

Componentes

Em alto nível, um aplicativo de interação por voz interage com esses atores:

Figura 1. Atores de interação de voz

Detalhes

• VoiceInteractionManagerService . Este serviço do sistema é responsável por gerenciar o VIA padrão e expor sua funcionalidade ao restante do sistema.
• RecognitionService . Este serviço expõe recursos de reconhecimento de fala para outros aplicativos no sistema.
• SoundTrigger . Implementa gerenciamento de hotwords e está disponível para VIAs através do AlwaysOnHotwordDetector.
• MediaRecorder . Fornece acesso à entrada de áudio para detecção de hotword (ao usar CPU) e reconhecimento de fala.
• PhoneWindowManager / CarInputService . Esses serviços são responsáveis ​​(entre outras coisas) por tratar eventos-chave, roteando o PTT para o VIA, por meio do VoiceInteractionManagerService .
• User . O usuário interage com um VIA por meio de Triggers (PTT, TTT, Hotword) ou do Voice Plate UI.
• CarService, Notifications, Media, Telephony, ContactsProvider e assim por diante. Serviços e aplicativos usados ​​pelo VoiceInteractionSession para atender aos comandos do usuário.

Conceitos específicos automotivos

AAOS diverge do Android nos seguintes aspectos:

• Além das funcionalidades normais do Assistente, os AAOS VIAs podem controlar as funções do veículo (por exemplo, HVAC, assentos e luzes internas). Essas funcionalidades podem ser integradas usando a API CarPropertyManager (veja mais em Reading a Vehicle Property ) desde que os OEMs configurem o acesso corretamente conforme descrito em Privileged Permission Allowlisting .
• Personalização e consistência são mais relevantes no setor automotivo do que em qualquer outro fator de forma. Consulte Personalização para ler mais sobre como implementar essas diretrizes.