Gemini le couteau suisse des cyberattaques soutenues par l'État

Au cours des dernières semaines, les chercheurs en sécurité ont déclenché une nouvelle alarme : des acteurs soutenus par l'État profitent du modèle de langue de Google, Gemini, comme s'il s'agissait d'un couteau suisse pour faciliter les cyber campagnes. Ce qui est inquiétant, c'est non seulement que nous utilisions l'IA pour automatiser les tâches légitimes, mais que ces outils soient intégrés à chaque phase de l'attaque - de la reconnaissance initiale à l'exfiltration de données - avec un effet multiplicateur sur l'efficacité et la portée des délinquants.

Selon la propre analyse de Google de l'activité malveillante observée, les groupes affiliés à plusieurs pays ont utilisé Gemini pour des activités aussi diverses que la définition d'objectifs, la collecte de renseignements publics, la création d'appâts d'hameçonnage et l'aide au développement des infrastructures de commandement et de contrôle. Les noms identifiés par les chercheurs comprennent des étiquettes collectives liées à la Chine, l'Iran, la Corée du Nord et la Russie, qui ont utilisé le modèle pour traduire des textes, purifier et générer du code, concevoir des tests de vulnérabilité et résoudre des problèmes techniques pendant les intrusions.

L'utilisation d'un grand modèle linguistique dans ces tâches n'est pas une simple curiosité technique : elle réduit les barrières. Générer un courrier plus convaincant, adapter une explosion à une cible précise ou automatiser la conversion de la recherche publique en un script actionnable sont des activités qui avaient auparavant besoin de plus de temps et de compétences spécialisées. Maintenant, avec des indications appropriées, les attaquants peuvent accélérer les processus et tester les variantes rapidement, ce qui rend difficile de détecter et d'étendre la surface de risque.

Les exemples spécifiques observés comprennent des familles d'outils et de campagnes qui montrent clairement des traces d'aide à l'IV. Certains prototypes de logiciels malveillants sont venus intégrer des appels à l'API Gemini pour générer des fragments de code C # qui sont compilés et exécutés en mémoire comme une deuxième étape; des kits d'hameçonnage complexes présentent des preuves que leur développement était basé sur des outils de génération de code; et les campagnes "ClickFix" ont utilisé le contenu généré par l'IA pour attirer les utilisateurs vers des pages qui fournissent des logiciels malveillants spécifiques à macOS. Ces cas montrent que l'AI fait déjà partie de la boîte à outils criminelle.

Un autre aspect que Google et les analystes mettent en évidence est la tentative de reproduire des modèles. Grâce à un processus d'extraction de modèles et de « distillation des connaissances », les organisations malveillantes peuvent systématiquement remettre en question un service autorisé et, avec une consultation suffisante, aborder leur comportement pour former des solutions de rechange moins coûteuses ou sans restriction. Ce type de stratégie pose non seulement un problème de propriété intellectuelle, mais couvre et accélère le développement de capacités négatives.

Les chercheurs décrivent même des opérations à grande échelle qui ont utilisé des dizaines de milliers de demandes dans différentes langues dans l'intention de saisir des modèles de raisonnement. Pour se défendre, Google prétend avoir suspendu les comptes abusifs et introduit de nouveaux contrôles sur les classificateurs et les points d'accès au modèle, et souligne qu'il conçoit ses systèmes avec des garanties et des tests continus. Toutefois, la dynamique montre que les mesures de protection doivent évoluer aussi rapidement que les abus.

Le fait que ces problèmes soient observés chez un ou un autre fournisseur n'est pas une surprise. La communauté de la sécurité documente les techniques d'extraction de modèles de façon académique depuis des années (voir les travaux sur les API d'extraction et de prévision de modèles), et les organismes publics et privés commencent à publier des guides pour atténuer les utilisations malveillantes de l'IA. Le risque combine des facteurs techniques, économiques et humains : de la perte de la propriété intellectuelle à la possibilité que les défenses conventionnelles soient obsolètes contre des attaques plus polies et automatisées.

Que peuvent faire les organisations aujourd'hui pour réduire les risques? Il n'y a pas de solution unique, mais des mesures pratiques qui aident à : renforcer les contrôles sur l'accès aux API et aux références, surveiller les modes d'utilisation anormaux (p. ex. volumes extraordinaires de consultations ou séries d'invites répétitives), appliquer l'authentification multifactorielle et revoir les processus de développement pour détecter les codes ou les artefacts générés par des tiers. En outre, la formation des utilisateurs finals demeure essentielle : les appâts d'hameçonnage générés par l'IV peuvent être plus professionnels, mais ils continuent souvent à exploiter les échecs humains que la sensibilisation et les procédures peuvent atténuer.

La coopération entre les fournisseurs d'IA, les sociétés de cybersécurité et les autorités est également essentielle. Lorsque les modèles deviennent une infrastructure essentielle à l'innovation, leur abus exige également des réponses coordonnées : partage d'indicateurs d'engagement, présentation de nouvelles tactiques et mise à jour des cadres réglementaires et contractuels pour protéger la propriété intellectuelle des clients et des développeurs.

Si vous voulez passer en revue le rapport et la couverture médiatique qui ont résumé ces constatations, vous pouvez voir le communiqué de sécurité de Google sur son blog d'entreprise sur les menaces et les abus, ainsi que l'analyse des médias spécialisés qui ont recueilli des détails techniques et des exemples pratiques. Ces documents aident à comprendre les preuves concrètes et les réponses qui sont déjà mises en oeuvre : Google Security Blog et une information sur Calculateur fournir des points de départ, tandis que des rapports plus généraux sur la menace posée par l'AI et l'extraction de modèles sont disponibles dans des institutions telles que l'Agence de l'Union européenne pour la cybersécurité ( ENISA) et dans les travaux universitaires sur l'extraction de modèles ( Voler des modèles d'apprentissage automatique via les API de prévision).

L'arrivée de modèles capables d'écrire, de traduire, de diagnostiquer et de programmer a d'énormes avantages, mais aussi une contrepartie évidente : lorsque des outils puissants sont disponibles pour les acteurs malveillants, l'équilibre des risques change. Il ne s'agit pas d'interdire la technologie, mais de la gouverner : construire des défenses techniques, des pratiques organisationnelles et des cadres de responsabilité qui réduisent son abus sans étouffer l'innovation. Ce sera le débat public et technique qui marquera les prochains chapitres de la sécurité numérique.