Android 10 améliore l'expérience utilisateur qui nécessite plusieurs captures audio actives simultanées, par exemple si l'utilisateur souhaite contrôler un appel VoIP ou un enregistreur vidéo à l'aide de commandes vocales fournies par un service d'accessibilité.
Le framework audio implémente la règle n'autorisant que certaines applications privilégiées à effectuer une capture simultanée avec les applications standards.
La stratégie de simultanéité est implémentée en désactivant l'audio capturé plutôt qu'en empêchant une application de commencer la capture. Cela permet au framework de gérer de manière dynamique les modifications du nombre et des types de cas d'utilisation de la capture active, sans empêcher une application de commencer la capture dans le cas où elle peut récupérer un accès complet au micro après la fin de la capture par une autre application.
La conséquence pour le HAL audio et le sous-système audio est qu'ils doivent prendre en charge plusieurs flux d'entrée actifs simultanément, même si, dans certains cas, un seul flux fournit un son non silencieux à un client actif.
Exigences concernant les CDD
Consultez le CDD pour connaître les exigences concernant la prise en charge de la capture simultanée.
Capturer des situations à partir du HAL audio
Un scénario de capture simultanée peut entraîner différentes situations en termes de nombre de flux d'entrée actifs, de sélection de l'appareil d'entrée ou de configuration du prétraitement.
La simultanéité peut se produire entre les éléments suivants:
- Plusieurs flux d'entrée du processeur d'application (PA)
- Flux d'entrée et appel vocal
- Flux d'entrée et DSP audio implémentant une détection de mot clé basse consommation
Activité simultanée des flux d'entrée de l'AP
Le fichier de configuration de la stratégie audio audio_policy_configuration.xml est utilisé par le framework audio pour déterminer le nombre de flux d'entrée pouvant être ouverts et actifs simultanément.
Le HAL audio doit prendre en charge au minimum une instance de chaque profil d'entrée (mixPort du rôle sink) listé dans le fichier de configuration ouvert et actif.
Le choix parmi les appareils
Lorsque plusieurs clients actifs sont associés au même flux d'entrée HAL, le framework sélectionne l'appareil approprié pour ce flux d'entrée en fonction de la priorité du cas d'utilisation.
Lorsque plusieurs flux d'entrée sont actifs, chacun d'eux peut être associé à une sélection d'appareil différente.
Si la technologie est compatible, il est recommandé que le HAL audio et le sous-système permettent de capturer différents flux à partir de différents appareils, tels qu'un casque Bluetooth et un micro intégré.
En cas d'incompatibilité (par exemple, deux appareils partagent la même interface audio numérique ou le même backend), le HAL audio doit choisir le flux qui contrôle la sélection de l'appareil.
Dans ce cas :
- L'état obtenu doit être cohérent et proposer la même sélection d'appareils lorsque le même scénario est répété.
- À la fin de l'état de simultanéité, le flux actif restant doit être acheminé vers l'appareil initialement demandé sur ce flux.
Si un ordre de priorité est défini par le HAL audio entre les cas d'utilisation actifs, suivez le même ordre que celui indiqué dans source_priority() dans frameworks/av/services/audiopolicy/common/include/policy.h.
Sélection de prétraitement
Le framework audio peut demander un prétraitement sur un flux d'entrée à l'aide des méthodes HAL addEffect() ou removeEffect().
Pour le prétraitement sur un flux d'entrée donné, le framework audio n'active que la configuration correspondant au cas d'utilisation actif de priorité la plus élevée sur le flux d'entrée. Toutefois, il peut y avoir un chevauchement lors de l'activation et de la désactivation du cas d'utilisation, ce qui entraîne l'exécution de deux processus actifs simultanés (par exemple, deux instances de suppression de l'écho) sur le même flux d'entrée. Dans ce cas, l'implémentation HAL choisit la requête à accepter. Elle suit les requêtes actives et rétablit l'état correct lorsque l'un des processus est désactivé.
Lorsque plusieurs flux de capture sont actifs simultanément, différentes requêtes de prétraitement peuvent être exécutées sur différents flux.
Les implémentations du HAL et du sous-système audio doivent permettre d'appliquer un prétraitement différent à différents flux, même s'ils partagent le même périphérique d'entrée. Autrement dit, le prétraitement doit être appliqué après le démultiplexage des flux de la source de capture principale.
Si ce n'est pas possible pour des raisons techniques sur un sous-système audio donné, le HAL audio doit appliquer des règles de priorité similaires à celles listées dans la section Sélection de l'appareil.
Appel vocal et capture simultanés depuis le point d'accès
Une capture du point d'accès peut se produire lorsqu'un appel vocal est en cours. Cette situation n'est pas nouvelle dans Android 10 et n'est pas directement liée à la fonctionnalité de capture simultanée, mais il est utile de mentionner les consignes pour ce scénario.
Deux types de capture différents sont nécessaires de la part du point d'accès pendant un appel.
- Capturer les chemins RX et TX des appels
- Capturer à partir d'un appareil d'entrée (par exemple, un micro intégré)
Capturer les appels RX et TX
La capture des données RX et TX de l'appel est déclenchée par l'utilisation de la source audio AudioSource.VOICE_UPLINK ou AudioSource.VOICE_DOWNLINK, et/ou de l'appareil AudioDevice.IN_TELEPHONY_RX.
Les HAL audio doivent être exposés sur le profil d'entrée (mixPort du rôle sink) avec un parcours disponible à partir de l'appareil AudioDevice.IN_TELEPHONY_RX.
Lorsqu'un appel est connecté (mode audio AudioMode.IN_CALL), il devrait être possible d'avoir au moins un flux de capture actif à partir de l'appareil AudioDevice.IN_TELEPHONY_RX.
Capturez à partir des périphériques d'entrée lorsqu'un appel est actif
Lorsqu'un appel est actif (mode audio AudioMode.IN_CALL), il devrait être possible d'ouvrir et d'activer des flux d'entrée à partir du point d'accès, comme indiqué dans la section Activité simultanée des flux d'entrée du point d'accès.
Toutefois, la priorité de sélection de l'appareil et de prétraitement doit toujours être déterminée par l'appel vocal en cas de conflit avec les requêtes provenant des flux d'entrée du point d'accès.
Capture simultanée à partir de la DSP et de l'API
Lorsque le sous-système audio contient un DSP compatible avec les fonctions de détection de contexte audio basse consommation ou de mot clé, l'implémentation doit prendre en charge la capture simultanée de l'AP et du DSP audio.
Cela inclut la capture par le DSP pendant la phase de détection initiale et la capture par l'AP avec AudioSource.HOTWORD une fois la détection déclenchée par le DSP.
Cela doit être reflété par l'indicateur de capture simultanée signalé par le HAL du déclencheur sonore via le descripteur d'implémentation: ISoundTriggerHw.Properties.concurrentCapture = true.
La HAL audio doit également exposer et profil d'entrée spécifique à la capture de mot clé identifiée par l'indicateur AudioInputFlag.HW_HOTWORD. L'implémentation doit permettre d'ouvrir et d'activer un nombre de flux sur ce profil au moins égal au nombre de modèles sonores pouvant être chargés simultanément par le HAL du déclencheur sonore.
La capture à partir de ce profil d'entrée devrait être possible lorsque d'autres profils d'entrée sont actifs.
Conséquences pour les implémentations de l'Assistant
Exigences concernant l'utilisation des données et la notification aux utilisateurs
Étant donné que l'utilisation simultanée du micro, si elle est mal utilisée, peut entraîner une fuite de données privées de l'utilisateur, nous devons appliquer les conditions et garanties suivantes aux applications préchargées privilégiées qui demandent à occuper le rôle d'Assistant.
- Les données collectées via le micro ne doivent pas quitter l'appareil, sauf si l'utilisateur interagit avec l'Assistant. Par exemple, après le déclenchement du mot clé.
- Les applications qui écoutent simultanément doivent fournir des repères visuels à l'utilisateur une fois le mot clé détecté. Cela permet aux utilisateurs de comprendre que les prochaines conversations se feront via une autre application, comme l'Assistant.
- Les utilisateurs doivent pouvoir désactiver le micro ou les déclencheurs de l'Assistant.
- Lorsque des enregistrements audio sont stockés, les utilisateurs doivent pouvoir y accéder, les écouter et les supprimer à tout moment.
Améliorations fonctionnelles pour Android 10
Les assistants ne se bloquent pas les uns les autres
Sur Android 9 ou version antérieure, lorsqu'il existe deux assistants toujours actifs sur l'appareil, seul l'un d'eux peut écouter son mot clé. Il a donc fallu passer d'un Assistant à l'autre. Sous Android 10, l'Assistant par défaut peut écouter simultanément l'autre Assistant. Cela offre une expérience beaucoup plus fluide aux utilisateurs avec les deux assistants.
Applications qui maintiennent le micro ouvert
Lorsque des applications comme Shazam ou Waze maintiennent le micro ouvert, l'Assistant par défaut peut toujours écouter le mot clé.
Pour les applications Assistant autres que celles par défaut, le comportement ne change pas sous Android 10.
Exemple d'implémentation du HAL audio
Vous trouverez un exemple d'implémentation de HAL audio conforme aux consignes de ce document dans AOSP.