Capture simultanée

Android 10 améliore l'expérience utilisateur qui nécessite plus d'une capture audio active simultanée, par exemple si l'utilisateur souhaite contrôler un appel VoIP ou un enregistreur vidéo avec des commandes vocales fournies par un service d'accessibilité.

Le framework audio implémente la règle qui autorise uniquement certaines applications privilégiées à effectuer une capture simultanément avec des applications standards.

La règle de simultanéité est implémentée en désactivant l'audio capturé plutôt qu'en empêchant une application de démarrer la capture. Cela permet au framework de gérer de manière dynamique les modifications du nombre et des types de cas d'utilisation de capture active, sans empêcher une application de démarrer la capture dans un cas où elle peut récupérer l'accès complet au micro après qu'une autre application a terminé la capture.

Par conséquent, le HAL audio et le sous-système audio doivent prendre en charge plusieurs flux d'entrée actifs simultanément, même si, dans certains cas, un seul flux fournit un son non silencieux à un client actif.

Exigences du CDD

Consultez le CDD pour connaître les exigences concernant la prise en charge de la capture simultanée.

Situations de capture à partir du HAL audio

Un scénario de capture simultanée peut entraîner différentes situations en termes de nombre de flux d'entrée actifs, de sélection de l'appareil d'entrée ou de configuration de prétraitement.

La simultanéité peut se produire entre les éléments suivants :

  • Plusieurs flux d'entrée du processeur d'application (AP)
  • Flux d'entrée et appel vocal
  • Flux d'entrée et DSP audio implémentant une détection de mot clé à faible consommation d'énergie

Activité simultanée des flux d'entrée AP

Le fichier de configuration de la règle audio audio_policy_configuration.xml est utilisé par le framework audio pour déterminer le nombre de flux d'entrée pouvant être ouverts et actifs simultanément.

Au minimum, le HAL audio doit prendre en charge au moins une instance de chaque profil d'entrée (mixPort du rôle sink) listée dans le fichier de configuration ouvert et actif.

Le choix parmi les appareils

Lorsque plusieurs clients actifs sont associés au même flux d'entrée HAL, le framework sélectionne l'appareil approprié pour ce flux d'entrée en fonction de la priorité du cas d'utilisation.

Lorsque plusieurs flux d'entrée sont actifs, chaque flux peut avoir une sélection d'appareil différente.

Si la technologie est compatible, il est recommandé que le HAL audio et le sous-système permettent à différents flux de capturer des données à partir de différents appareils, tels qu'un casque Bluetooth et un micro intégré.

En cas d'incompatibilité (par exemple, si deux appareils partagent la même interface audio numérique ou le même backend), le HAL audio doit choisir le flux qui contrôle la sélection de l'appareil.

Dans ce cas :

  • L'état résultant doit être cohérent et offrir la même sélection d'appareil lorsque le même scénario est répété.
  • Lorsque l'état de simultanéité se termine, le flux actif restant doit être acheminé vers l'appareil initialement demandé sur ce flux.

Si un ordre de priorité est défini par le HAL audio entre les cas d'utilisation actifs, suivez le même ordre que celui trouvé dans source_priority() dans frameworks/av/services/audiopolicy/common/include/policy.h.

Sélection du prétraitement

Le framework audio peut demander un prétraitement sur un flux d'entrée à l'aide des méthodes HAL addEffect() ou removeEffect().

Pour le prétraitement sur un flux d'entrée donné, le framework audio n'active que la configuration correspondant au cas d'utilisation actif le plus prioritaire sur le flux d'entrée. Toutefois, il peut y avoir un chevauchement lors de l'activation et de la désactivation du cas d'utilisation, ce qui entraîne l'exécution simultanée de deux processus actifs (par exemple, deux instances d'annulation d'écho) sur le même flux d'entrée. Dans ce cas, l'implémentation HAL choisit la requête acceptée. Elle suit les requêtes actives et restaure l'état correct lorsque l'un des processus est désactivé.

Lorsque plusieurs flux de capture sont actifs simultanément, différentes requêtes de prétraitement peuvent être exécutées sur différents flux.

Les implémentations HAL et de sous-système audio doivent permettre d'appliquer différents prétraitements à différents flux, même s'ils partagent le même appareil d'entrée. Autrement dit, le prétraitement doit être appliqué après le démultiplexage des flux à partir de la source de capture principale.

Si cela n'est pas possible pour des raisons techniques sur un sous-système audio donné, le HAL audio doit appliquer des règles de priorité semblables à celles listées dans Sélection de l'appareil.

Appel vocal et capture simultanés à partir de l'AP

La capture à partir de l'AP peut avoir lieu pendant qu'un appel vocal est actif. Cette situation n'est pas nouvelle dans Android 10 et n'est pas directement liée à la fonctionnalité de capture simultanée, mais il est utile de mentionner les consignes pour ce scénario.

Deux types de capture différents à partir de l'AP sont nécessaires pendant un appel.

Capture des chemins RX et TX de l'appel

La capture des chemins RX et TX de l'appel est déclenchée par l'utilisation de la source audio AudioSource.VOICE_UPLINK ou AudioSource.VOICE_DOWNLINK, et/ou de l'appareil AudioDevice.IN_TELEPHONY_RX.

Les HAL audio doivent exposer sur le profil d'entrée (mixPort du rôle sink) avec un itinéraire disponible à partir de l'appareil AudioDevice.IN_TELEPHONY_RX.

Lorsqu'un appel est connecté (le mode audio est AudioMode.IN_CALL), il doit être possible d'avoir au moins un flux de capture actif à partir de l'appareil AudioDevice.IN_TELEPHONY_RX.

Capture à partir d'appareils d'entrée lorsqu'un appel est actif

Lorsqu'un appel est actif (le mode audio est AudioMode.IN_CALL), il doit être possible d' ouvrir et d'activer des flux d'entrée à partir de l'AP, comme spécifié dans la section Activité simultanée des flux d'entrée AP.

Toutefois, la priorité pour la sélection de l'appareil et le prétraitement doit toujours être déterminée par l'appel vocal en cas de conflit avec les requêtes des flux d'entrée AP.

Capture simultanée à partir du DSP et de l'AP

Lorsque le sous-système audio contient un DSP compatible avec les fonctions de contexte audio à faible consommation d'énergie ou de détection de mot clé, l'implémentation doit prendre en charge la capture simultanée à partir de l'AP et du DSP audio. Cela inclut à la fois la capture par le DSP pendant la phase de détection initiale et la capture par l'AP avec AudioSource.HOTWORD une fois la détection déclenchée par le DSP.

Cela doit être reflété par l'indicateur de capture simultanée signalé par le HAL de déclenchement du son via le descripteur d'implémentation : ISoundTriggerHw.Properties.concurrentCapture = true.

Le HAL audio doit également exposer et saisir le profil spécifique à la capture de mot clé identifié par l'indicateur AudioInputFlag.HW_HOTWORD. L'implémentation doit prendre en charge l'ouverture et l'activation d'un certain nombre de flux sur ce profil au moins égal au nombre de modèles sonores pouvant être chargés simultanément par le HAL de déclenchement du son.

La capture à partir de ce profil d'entrée doit être possible lorsque d'autres profils d'entrée sont actifs.

Implications pour les implémentations de l'Assistant

Exigences concernant l'utilisation des données et la notification utilisateur

Étant donné que l'utilisation simultanée du micro, en cas d'abus, peut entraîner la fuite de données privées de l'utilisateur, nous devons appliquer les conditions et garanties suivantes aux applications préchargées privilégiées qui demandent à détenir le rôle d'Assistant.

  • Les données collectées via le micro ne doivent pas quitter l'appareil, sauf si l'utilisateur interagit avec l'Assistant. Par exemple, une fois le mot clé déclenché.
  • Les applications qui écoutent simultanément doivent fournir des repères visuels à l'utilisateur une fois le mot clé détecté. Cela permet aux utilisateurs de comprendre que les conversations ultérieures passeront par une autre application, telle que l'Assistant.
  • Les utilisateurs doivent pouvoir désactiver le micro ou les déclencheurs de l'Assistant.
  • Lorsque des enregistrements audio sont stockés, les utilisateurs doivent pouvoir y accéder, les examiner et les supprimer à tout moment.

Améliorations fonctionnelles pour Android 10

Les assistants ne se bloquent pas mutuellement

Sous Android 9 ou version antérieure, lorsque deux assistants toujours activés sont présents sur l'appareil, un seul d'entre eux peut écouter son mot clé. Il était donc nécessaire de basculer entre les deux assistants. Dans Android 10, l'Assistant par défaut peut écouter simultanément l'autre Assistant. Cela offre une expérience beaucoup plus fluide aux utilisateurs disposant des deux assistants.

Applications laissant le micro ouvert

Lorsque des applications comme Shazam ou Waze laissent le micro ouvert, l'Assistant par défaut peut toujours écouter le mot clé.

Pour les applications d'assistant non par défaut, le comportement ne change pas pour Android 10.

Exemple d'implémentation HAL audio

Vous trouverez un exemple d'implémentation HAL audio conforme aux consignes de ce document dans l'AOSP.