Streaming d'application associée

Dans Android 13, la fonctionnalité de streaming d'applications permet aux téléphones de diffuser leurs applications sur des appareils connectés et à ces appareils d'interagir avec les applications. Un nouveau rôle COMPANION_DEVICE_APP_STREAMING permet à une application de créer et de gérer des proxys pour les appareils distants connectés afin de diffuser des applications de l'appareil local vers l'appareil distant. L'application détenant le rôle COMPANION_DEVICE_APP_STREAMING peut obtenir des autorisations pour créer un écran virtuel, lancer une application dessus, puis diffuser une vidéo de l'application lancée sur un autre appareil. L'application du titulaire du rôle peut également injecter des événements d'entrée et de micro reçus d'un appareil distant dans l'appareil local, comme si cet appareil était connecté en tant que périphérique.

Architecture

À partir d'Android 13, le nouveau Gestionnaire d'appareils virtuels et le Gestionnaire d'appareils associés (CDM) constituent les principaux éléments de base pour la prise en charge du streaming d'applications et de l'interaction avec les appareils connectés à distance.

Gestionnaire d'appareils virtuels

Le streaming d'applications fonctionne grâce aux écrans virtuels. Le Gestionnaire d'appareils virtuels crée un écran virtuel distinct de l'écran principal visible. Lorsque l'utilisateur accepte de commencer à diffuser une application, celle-ci est lancée sur l'écran virtuel ou y est transférée. Le contenu de l'écran virtuel est transféré dans un flux vidéo vers l'appareil connecté pour être affiché.

Le Gestionnaire d'appareils virtuels inclut des API qui permettent de créer, d'enregistrer et de gérer des instances VirtualDevice.

Une instance VirtualDevice est un proxy pour l'appareil connecté et ses fonctionnalités. Une instance VirtualDevice permet à un appareil connecté de recevoir, d'afficher et d'interagir avec un flux d'application entrant, en procédant comme suit :

  • Création d'une instance VirtualDisplay destinée à être affichée sur l'écran d'un appareil connecté.
  • Injection d'un flux audio à distance, par exemple depuis le micro de l'appareil connecté, dans l'appareil local pour la lecture.
  • Injecter des événements d'entrée à distance, tels que ceux du clavier de l'appareil connecté, dans l'appareil local pour la lecture.

Gestionnaire d'appareils associés

Le CDM gère l'état de la connectivité et applique les exigences de rôle qui doivent être remplies pour activer le streaming d'applications.

La figure suivante illustre les interactions entre l'appareil local et l'appareil distant pendant le streaming d'applications :

app-streaming-interaction

Figure 1. Interactions entre les appareils locaux et distants pendant le streaming d'applications

Implémentation du rôle de streaming de l'application associée

Les OEM peuvent implémenter une application avec le rôle COMPANION_DEVICE_APP_STREAMING pour offrir une expérience riche et sécurisée sur plusieurs appareils.

Pour créer un appareil virtuel permettant le streaming d'application, une application doit être titulaire du rôle COMPANION_DEVICE_APP_STREAMING. Lorsque le rôle est accordé, l'application reçoit l'autorisation CREATE_VIRTUAL_DEVICE, qui lui permet de créer un appareil virtuel. Les titulaires de rôle sont censés implémenter le streaming d'applications en créant une instance VirtualDevice qui sert de proxy pour un appareil connecté. La classe VirtualDevice fournit des méthodes qui permettent d'extraire une surface composite d'un écran virtuel, adaptée au streaming vers un autre appareil. La classe VirtualDevice fournit également des API pour injecter des événements d'entrée qui se produisent sur un appareil distant dans l'appareil local, ce qui permet à une application qui s'exécute sur un appareil local d'apparaître comme si elle s'exécutait de manière native sur un appareil distant.

Pour implémenter le rôle de streaming de l'application associée, procédez comme suit :

  1. Créez une application qui demande l'autorisation REQUEST_COMPANION_PROFILE_APP_STREAMING dans le fichier manifeste.

  2. Invitez l'utilisateur à autoriser l'application à effectuer le streaming d'application.

  3. Créez une instance CDM AssociationRequest pour demander un rôle COMPANION_DEVICE_APP_STREAMING. L'application reçoit l'autorisation CREATE_VIRTUAL_DEVICE lorsque le rôle est accordé.

  4. Appelez VirtualDeviceManager#create() pour créer une instance VirtualDevice. Avec une instance VirtualDevice, l'application peut créer et gérer des écrans virtuels et des entrées virtuelles.

  5. Lancez l'intent en attente de la notification sur l'écran virtuel et créez une capture vidéo de cet écran.

  6. Créez une connexion à l'appareil connecté et diffusez l'écran virtuel sur l'appareil connecté.

  7. Injectez des événements d'entrée arrière depuis l'appareil connecté vers l'appareil local à l'aide des API VirtualDevice.

  8. Lorsque l'utilisateur ferme l'application de streaming sur l'appareil distant, mettez fin au flux et supprimez l'instance VirtualDevice. À ce stade, l'application de streaming précédente s'exécute en arrière-plan sur l'appareil local et la connexion est fermée.

  9. Si nécessaire, attendez d'autres signaux de l'appareil connecté pour redémarrer le streaming de l'application.

L'application est responsable de la connexion à l'appareil distant, de la communication de l'état de connectivité à CDM et de l'application des exigences de sécurité décrites dans le CDD.

Exigences pour les titulaires du rôle COMPANION_DEVICE_APP_STREAMING

Le CDM accorde le rôle COMPANION_DEVICE_APP_STREAMING lorsque l'utilisateur associe une application de streaming d'applications à un appareil. Ce rôle est associé à un profil d'appareil. Il existe donc un certain contrôle sur les applications qui peuvent être ajoutées au Play Store et qui correspondent à ce profil. Consultez Rôles Android pour obtenir la liste des exigences liées au rôle COMPANION_DEVICE_APP_STREAMING. Pour en savoir plus, contactez votre point de contact Google.

Pouvoirs du titulaire du rôle COMPANION_DEVICE_APP_STREAMING

Pour effectuer le streaming d'applications, le rôle COMPANION_DEVICE_APP_STREAMING suppose que l'application du titulaire du rôle dispose des capacités et des comportements suivants :

  • Créez et gérez des connexions à d'autres appareils.
  • Créez et gérez des écrans virtuels de confiance, y compris des écrans déverrouillés, comme suit :
    • Lancez des activités sur l'écran virtuel.
    • Injectez les événements qui se produisent sur une application diffusée en streaming sur un appareil connecté sur l'appareil local, par exemple en reproduisant un événement tactile sur la tablette aux mêmes coordonnées sur le téléphone.
    • Capturer les données audio de l'application de streaming
    • Remplacez le flux du micro de l'appareil local par celui d'un appareil connecté lorsqu'une application de streaming utilise le micro.
    • Remplacez le flux de la caméra de l'appareil local par le flux de la caméra d'un appareil connecté lorsqu'une application de streaming utilise la caméra.
  • Gérer et diffuser des notifications de l'appareil local vers l'appareil connecté, et effectuer des actions sur les notifications.
  • Transmettre les métadonnées du flux depuis l'appareil local vers l'appareil connecté, comme la liste des applications disponibles sur l'appareil local.
  • Demandez la validation de l'appareil.