Vous vous souvenez de l'engouement autour des gadgets d'IA comme le Rabbit R1 l'année dernière ? L'idée d'un petit appareil parlant remplaçant nos smartphones était captivante. Bien que ces gadgets n'aient pas tout à fait tenu leurs promesses, ils ont déclenché une nouvelle tendance : l'IA agentique. Aujourd'hui, des géants de la technologie comme Google se lancent à corps perdu dans le développement d'une IA capable de gérer des tâches pour vous, comme le codage, la planification de rendez-vous ou les achats en ligne.

Gemini de Google dans Chrome est un pas dans cette direction, mais ses capacités sont limitées au navigateur. Si vous souhaitez automatiser des tâches dans toutes vos applications Android, vous êtes probablement coincé avec des outils tiers compliqués, comme Tasker. Le Project Astra, le projet d'IA expérimental de Google, vise à changer cela.

Lors de Google I/O, ils ont présenté Astra contrôlant un téléphone Android, trouvant des informations et effectuant des recherches sur YouTube de manière transparente. Pour ce faire, Astra enregistre l'écran et envoie des commandes pour lancer des applications ou faire défiler des pages.

Bien que la démonstration ait souligné le potentiel des agents d'IA sur Android, elle a également révélé certains défis. La vidéo accélérée suggérait que le traitement de l'IA est encore assez lent. Cela pourrait ne pas être un problème lorsque vous avez les mains pleines, mais cela pourrait être irritant au quotidien. Un agent d'IA lent pourrait laisser votre téléphone bloqué et des interruptions courantes, comme des notifications, pourraient interférer avec son fonctionnement.

Un Nouveau Cadre : Contrôle Informatique

Pour résoudre ces problèmes, Google a développé un nouveau cadre appelé Contrôle Informatique, conçu pour que les agents d'IA contrôlent les applications Android de manière fluide en arrière-plan. En fouillant dans le code d'Android, j'ai découvert des détails intéressants sur cette fonctionnalité à venir. Le Contrôle Informatique exploite le Virtual Device Manager (VDM), introduit avec Android 13. Ce système vous permet de créer des écrans virtuels séparés de l'écran principal. Les applications peuvent s'exécuter sur ces écrans virtuels et être diffusées en continu vers un autre appareil, qui peut envoyer des commandes comme des clics ou des pressions sur les touches.

Ce cadre exige que les applications clientes spécifient les propriétés de l'écran virtuel et si l'écran doit rester déverrouillé lorsque l'appareil est verrouillé. Cela permettra un contrôle autonome. De plus, les applications clientes peuvent accéder aux images d'affichage brutes, qui peuvent être diffusées en continu vers un appareil distant pour analyse.

Pour la confidentialité et la sécurité, l'utilisation du Contrôle Informatique est limitée aux applications de confiance qui détiennent l'autorisation ACCESS_COMPUTER_CONTROL. Cette autorisation est accordée uniquement aux applications signées avec un certificat numérique autorisé dans le système d'exploitation. Avant qu'une application puisse démarrer une session de Contrôle Informatique, elle doit obtenir l'approbation explicite de l'utilisateur. De cette façon, les applications courantes ne pourront pas contrôler d'autres sans votre approbation.

Bien qu'il ait été conçu pour que les clients de confiance analysent les données d'écran et automatisent les tâches, il reste à voir comment ces clients contrôleront les applications. Le traitement sera-t-il effectué sur un PC distant, comme le fonctionnement du Rabbit R1 ? Ou sera-t-il traité localement par un modèle d'IA sur l'appareil, comme Gemini Nano ? Bien que le premier semble plus probable, le second serait plus privé, mais pourrait surcharger les ressources de l'appareil.

Je suis enthousiaste à l'idée des efforts de Google pour construire un cadre approprié pour l'IA agentique sur Android. Le Contrôle Informatique a le potentiel d'automatiser entièrement vos applications, ce qui permet de gagner du temps et d'améliorer l'accessibilité. Comme les agents d'IA ne se tromperont pas toujours, Google a inclus la possibilité de mettre en miroir l'automatisation sur un écran interactif, ce qui permet aux utilisateurs de superviser et d'apporter des ajustements au besoin.