L'agenda que vous trahissez: donc vous infiltrez des instructions dans le calendrier pour exposer les données dans Google Gemini

Une équipe de chercheurs a montré comment, avec rien d'autre que des instructions en langage naturel dans une invitation Google Calendrier, Gemini - l'assistant basé sur le grand modèle de langue Google - peut être dupé pour révéler des informations privées et laisser écrit sur une date accessible pour un attaquant. La conclusion souligne que, bien qu'il existe des systèmes de détection fondés sur des règles et des modèles auxiliaires, la capacité de raisonnement et l'ingestion automatique de données par les participants à la LLM ajoutent des surfaces d'attaque nouvelles et difficiles à prévoir.

L'expérience, décrite par les responsables dans un rapport technique, profite de la façon dont Gemini traite les détails des événements lorsqu'un utilisateur lui demande son horaire. Si un attaquant peut envoyer une invitation dont la description contient des instructions formulées en langage naturel - par exemple, demander que toutes les réunions d'une journée soient résumées, que des informations privées soient incluses et que ce résumé soit copié dans un nouvel événement -, Gemini peut venir exécuter ces instructions comme s'il s'agissait d'une demande légitime de l'utilisateur. Le résultat: les données sensibles sont écrites dans la description d'un nouvel événement qui, dans de nombreux paramètres commerciaux, est visible pour les participants et peut-être pour l'attaquant.

Les chercheurs expliquent que la clé du succès n'était pas une explosion technique traditionnelle mais une manipulation sémantique. Profitant que Gemini relie et traite automatiquement les informations du calendrier pour fournir une aide proactive, il suffit d'introduire une "instruction" apparemment inoculée dans un champ d'événement afin que, lorsque l'utilisateur invoque l'assistant, l'assistant charge et interprète ce texte avec le reste du contexte. Cette interprétation peut conduire à des actions qui exfiltrent les informations sans que l'utilisateur les avertisse.

Ce vecteur d'attaque tombe dans ce qu'on appelle l'injection rapide : au lieu de violer l'infrastructure, l'attaquant insère des commandes dans des entrées de texte que le modèle traite comme des instructions légitimes. Les auteurs du rapport ont noté que, bien que Google applique une couche supplémentaire de détection avec des modèles isolés pour filtrer les instructions dangereuses, la manœuvre a évité ces défenses parce que les ordres dans la description semblait, en apparence, sûr et cohérent avec la fonction d'assistant.

Le cas n'est pas tout à fait nouveau dans son concept - d'autres équipes ont déjà montré comment les calendriers et les métadonnées peuvent être utilisés pour manipuler des assistants - mais ce travail montre que les nuances de langage et d'intention rendent très difficile de maintenir une barrière parfaite. En outre, les chercheurs ont fait part de leurs constatations à l'équipe de Google; l'entreprise a introduit des mesures d'atténuation pour bloquer les modèles utilisés par l'expérience, bien que les auteurs insistent que la solution n'est pas banale et que la sécurité devrait évoluer au-delà de la simple validation syntaxique.

Pour ceux qui gèrent l'environnement d'entreprise, l'implication pratique est claire : les intégrations qui permettent aux modèles linguistiques d'accéder aux calendriers, au courrier et à d'autres données devraient être appliquées avec des politiques d'accès strictes, des contrôles de modification sur le terrain par relais externes et une visibilité réduite par défaut. Permettre aux participants d'agir avec des permis étendus sur des éléments de collaboration sans contrôle contextuel et intentionnel est un risque qui peut être réalisé avec peu d'effort.

Les auteurs du rapport proposent que la détection passe de l'identification de modèles de texte dangereux à la prise de conscience du contexte : qui a créé le contenu?, quelle est la relation entre l'expéditeur et les participants?, est-ce logique qu'un assistant réécrive un champ visible à des tiers avec des informations confidentielles? Autrement dit, la défense idéale devrait combiner l'analyse sémantique avec les règles d'affaires et la télémétrie sur les permissions et les origines.

Il est également important de se rappeler que l'atténuation technique ne nécessite pas de politiques et de formation. Dans de nombreuses organisations, la façon la plus immédiate de réduire les risques est de limiter qui peut créer ou modifier des événements qui affectent les équipes critiques, d'examiner les permis par défaut dans les calendriers partagés et d'éduquer les gens à se méfier des invitations inattendues, même si elles proviennent de contacts connus dont le courrier a pu être compromis.

Le rapport et la couverture subséquente ont suscité de l'intérêt pour la communauté de la sécurité parce qu'ils illustrent un point plus large : lorsque les API et les interfaces sont conçues pour accepter les instructions humaines comme entrées natives, la frontière entre ce qui est des « données » et ce qui est des « commandes » devient floue. Cette ambiguïté amplifie le besoin de contrôles d'intégrité sur chaque couche du flux de données.

Pour ceux qui veulent lire l'analyse technique originale, les détails sont disponibles dans la publication de l'équipe de recherche elle-même à Miggo Security: Calendrier des armes Invite: une attaque sémantique sur Google Gemini. L'article a également été cité dans des rapports de presse spécialisés et des analyses qui examinent comment les participants au LLM s'intègrent aux outils de productivité et quelles sont les implications pour la sécurité qui en découlent.

Google, pour sa part, intègre des contrôles et des revues dans les intégrations de Gemini avec Workspace et d'autres services; son engagement envers les participants agissant sur les calendriers et les courriels nécessite un équilibre délicat entre l'utilité et la protection des données. Pour le contexte sur le produit et son intégration, il est approprié d'examiner les informations officielles de Google sur Gemini et ses capacités: Présentation de Gemini - Blog Google AI. La discussion publique et technique continuera d'être nécessaire car la surface d'attaque évoluera avec les fonctionnalités.

Bref, l'incident est un appel à l'attention : les participants capables de raisonner et d'agir sur les données personnelles et corporatives sont des outils puissants, mais son utilité s'accompagne de nouveaux vecteurs de risque. La sécurité à cette époque doit combiner des contrôles techniques plus intelligents, des politiques d'accès plus conservatrices et une meilleure prise de conscience de la façon dont le langage peut devenir un moyen d'exploitation.