L'IA generative devient une arme : comment Gemini conduit les attaques, les suplantations et l'extraction de modèles

L'arrivée de modèles génériques avancés a transformé la façon dont nous recherchons, écrivons et automatisons les tâches. Mais comme dans presque toutes les révolutions technologiques, elle a également ouvert de nouvelles voies aux acteurs malveillants pour accélérer et parfaire les campagnes contre les entreprises et les gens. Récemment, Google a révélé qu'un groupe lié à la Corée du Nord utilisait son modèle Gemini pour la reconnaissance des attaques et la planification des tâches, un exemple clair de la façon dont les outils d'intelligence artificielle peuvent être réutilisés à des fins hostiles.

Selon l'équipe de renseignement de la menace de Google, l'acteur connu sous le nom UNC2970 a utilisé Gemini pour synthétiser le renseignement open source (OSINT) et construire des profils détaillés de cibles de grande valeur. Ce travail comprenait des recherches sur les entreprises de cybersécurité et de défense, la cartographie de postes techniques spécifiques et même la collecte d'informations salariales, le tout dans le but de concevoir des communications supplantantant plus convaincantes et de détecter des "points souples" pour une éventuelle intrusion. La propre description du rapport montre comment, entre les mains d'un opérateur motivé par une offensive, la ligne entre la recherche professionnelle légitime et la reconnaissance malveillante devient très ténue. Voir le rapport de Google ici: Google Cloud: Distillation, expérimentation et utilisation négative de l'IA.

UNC2970 n'est pas un nouveau venu: il est lié à des clusters historiquement associés à des campagnes telles que l'opération Dream Job, dans laquelle les offres de faux emplois ont été utilisés pour tromper le personnel de l'aérospatiale, de la défense et de l'énergie et ainsi livrer des logiciels malveillants. Cette technique de "recruteur fictif" devient beaucoup plus efficace lorsqu'un modèle génératif aide à faire de puissants messages personnalisés et techniques d'ingénierie sociale. Google a également documenté cette tendance dans un contexte plus large de menaces contre l'industrie de la défense: Plus de détails ici.

Et ce ne sont pas seulement les groupes nord-coréens qui ont intégré Gemini dans leurs workflows. Divers acteurs liés à différents pays ont commencé à utiliser des modèles générateurs pour accélérer les phases du cycle d'attaque : de la recherche et de la collecte des références à la création de dossiers personnels, à l'automatisation des tests de vulnérabilité ou à l'aide pour purifier le code d'exploitation. Certaines équipes ont demandé au modèle de résumer la documentation open source, de générer des plans de test ciblés ou même d'aider à développer des outils de grattage web et des systèmes de gestion de cartes SIM. Il en résulte que les tâches qui exigeaient auparavant un équipement humain spécialisé peuvent maintenant être réalisées plus rapidement et à une échelle donnée.

L'abus de modèles ne se limite pas aux renseignements avant l'attaque. Google a identifié des familles de logiciels malveillants qui profitent des API de Gemini pour générer un code à la carte. Un exemple particulièrement révélateur est le téléchargement nommé HONESTCUE, qui envoie des applications à l'API et reçoit la réponse de code en C #. Ce code est compilé et exécuté directement en mémoire en utilisant un légitime . Librairie NET, Fournisseur de code CSharp, évitant ainsi les artefacts de disque et rendant la détection traditionnelle difficile. Un autre cas détecté a été un kit d'hameçonnage automatisé avec une fausse génération de contenu pour supplanter une plate-forme d'échange de cryptomonéda, liée aux opérations de motivation financière.

Des campagnes ont également vu le jour pour exploiter les fonctions de partage public des services de l'AI afin d'accueillir de fausses instructions et d'attirer les victimes à des logiciels malveillants qui volent de l'information. Ces incidents illustrent comment la capacité d'un modèle à produire des textes plausibles peut être instrumentalisée à la fois pour construire de la tromperie et pour créer des composantes techniques d'une chaîne d'attaque.

Un autre risque pertinent identifié par Google est celui de l'extraction de modèles. Dans ce type d'attaque, un adversaire massif consulte une API d'un modèle propriétaire, enregistre les réponses et forme un système de remplacement qui reproduit largement le comportement de l'original. Google a bloqué les tentatives qui consistaient en plus de 100 000 consultations conçues pour reproduire la capacité du modèle dans plusieurs tâches et dans des langues autres que l'anglais. Des recherches indépendantes ont montré que même avec un nombre relativement faible de consultations, il est possible de former des répliques avec une fidélité surprenante: une expérience publique a obtenu une réplique qui a atteint 80,1% de précision après avoir envoyé 1000 questions et formation pour 20 fois. Comme le prévient la chercheuse Farida Shafik, « le comportement est le modèle : chaque paire consultée - la réponse est un exemple de formation pour une réplique ». Pour un contexte plus technique sur cette attaque d'extraction, voir l'analyse de Praetorian: Praetorian - Voler des modèles AI à travers l'API, et une explication des concepts de formation comme les temps ici: Machine Learning Master- Battle vs Epoch.

Que peuvent faire les organisations dans ce contexte? Tout d'abord, reconnaître que les défenses traditionnelles seules ne suffisent pas : protéger la confidentialité du poids du modèle n'empêche pas que son comportement soit reproduit si les réponses sont exposées à travers une API. Dans le même temps, il existe des mesures pratiques qui réduisent la surface de l'attaque : séparer et protéger les clés API, imposer des limites de débit et des anomalies de trafic, appliquer des contrôles d'accès et une authentification stricte, surveiller les schémas de consultation atypiques et utiliser la détection basée sur le comportement pour extraire ou abuser des signaux. Il est également essentiel d'améliorer la formation du personnel aux processus d'ingénierie sociale et de recrutement, car la tromperie ciblée et convaincante demeure une passerelle régulière.

Outre une atténuation technique spécifique, la situation exige une collaboration entre les fournisseurs de modèles, les entreprises utilisatrices et la communauté de la sécurité afin de partager les indicateurs d'abus, d'améliorer la transparence des incidents et de faire avancer les contre-mesures au niveau de l'architecture modèle - par exemple des techniques permettant de masquer ou de limiter les informations sensibles dans les réponses et les mécanismes permettant de détecter les tentatives d'extraction en temps réel. Google et d'autres fournisseurs publient déjà des recherches et des guides sur ces défis; l'échange public de résultats est essentiel pour réduire l'impact.

Bref, la capacité des modèles génériques à être des outils de productivité est indéniable, mais leur adoption généralisée amplifie également les risques nouveaux et connus. Innovation et sécurité doivent aller de pair:: Sans pratiques de défense adaptées à ce nouveau contexte, les mêmes capacités qui accélèrent le travail légitime peuvent faciliter l ' exploitation des organisations.

Sources recommandées et lectures : L'analyse technique de Google des utilisations négatives de Gemini et les recommandations d'atténuation ( Google Cloud), l'étude pratique sur l'extraction des modèles prétoriens ( Prétoire), documentation Microsoft sur la compilation dynamique en .NET ( Microsoft Docs) et le blog de sécurité de Huntress pour des exemples de campagnes basées sur les instructions publiques de l'IA ( Chasseur).