L'application Gemini de Google pour iOS et Android a reçu une mise à jour significative avec l'introduction d'une fonction de vue en direct. Cet ajout innovant permet aux utilisateurs de diffuser leur environnement immédiat vers l'application, permettant une interaction et un retour en temps réel des capacités d'IA de Gemini.

Amélioration de la reconnaissance d'objets et compréhension contextuelle

Lors des démonstrations, Gemini a montré sa capacité à identifier les objets dans la diffusion en direct, à corriger toute mauvaise interprétation et à fournir un contexte utile en répondant aux questions de l'utilisateur. Cette fonctionnalité offre une gamme d'applications potentielles, de l'aide pour les projets de bricolage et l'organisation de la maison à l'optimisation des expériences d'achat.

Accessibilité et au-delà

La fonction de vue en direct est particulièrement bénéfique pour les personnes malvoyantes. En fournissant une description vocale continue de l'environnement de l'utilisateur, elle offre un outil puissant pour une accessibilité et une indépendance accrues. Cette capacité s'appuie sur le projet Astra de Google, initialement présenté l'année dernière, étendant sa portée au-delà des appareils Pixel.

Contexte personnel pour une expérience utilisateur transparente

Au-delà de la vue en direct, Google prévoit des améliorations supplémentaires cet été, en se concentrant sur l'intégration du contexte personnel au sein de Gemini. Cette intégration exploitera les données de diverses applications Google pour personnaliser l'expérience utilisateur. Par exemple, la fonction de réponse IA dans Gmail analysera les e-mails précédents pour imiter le style d'écriture et le ton de l'utilisateur, en faisant même référence à des documents et des notes de Google Drive pour ajouter des informations contextuelles pertinentes.