OpenClaw et le côté sombre de l'AI autonome : injections d'invites, infiltrations et défaillances de sécurité

La prolifération d'agents d'EI autonomes à source ouverte a déclenché les alarmes des équipes d'intervention. Un exemple récent est OpenClaw - anciennement connu sous le nom de Clawdbot ou Moltbot - une plateforme qui permet aux modèles de langue de prendre des décisions et d'exécuter des actions dans un système local. Les autorités chinoises responsables de la cybersécurité publique ont lancé un avertissement public sur les risques liés à leur utilisation, soulignant que configurations par défaut dérobust et l'accès privilégié dont ces agents ont souvent besoin peut en faire une passerelle pour les attaquants. Voir la publication officielle de CNCERT ici: CNCERT (WeChat).

Pour comprendre pourquoi OpenClaw est inquiet, vous devez penser à sa conception : pour agir de manière autonome, l'agent doit pouvoir naviguer, lire des pages ou exécuter des commandes. Cette autorisation de "déplacer" à travers le système est précisément ce qui rend plus facile pour une mauvaise configuration ou une extension malveillante de causer un écart. Parmi les techniques que les attaquants exploitent se trouve la technique connue sous le nom d'injection proppt, et en particulier une variante plus subtile appelée Indirect Prompts injection o l'injection rapide croisée-domaine, où l'adversaire n'attaque pas directement le modèle mais manipule des fonctions légitimes telles que la lecture de pages Web ou la production de résumés. Une analyse technique de cette modalité se trouve dans Kaspersky Sequrelist : Liste sécurisée et dans les enquêtes de l'unité Palo Alto42: Unité42.

Un cas illustratif a été publié par ProptArmor : si l'agent peut générer des URLs et que les applications de messagerie affichent un lien automatique "avant", l'attaquant peut forcer l'agent à construire une adresse web avec des paramètres contenant des données sensibles. Lorsque le service de messagerie demande l'aperçu, le navigateur ou le serveur distant de l'attaquant reçoit cette URL et avec elle les informations filtrées, sans que personne n'ait à cliquer. Ce mécanisme transforme une réponse apparemment inoffensive de l'agent en infiltration immédiate de données. La démonstration technique et l'explication sont disponibles dans le rapport ProptArmor: Accélérer.

En plus de ces injections indirectes, les chercheurs et CNCERT ont identifié d'autres vecteurs inquiétants. D'une part, la capacité de l'agent d'interpréter les instructions et d'exécuter les tâches peut conduire à des erreurs destructrices, comme l'élimination involontaire et irréversible de l'information critique si le modèle comprend mal un ordre. D'autre part, des dépôts ou des extensions de « compétences » qui élargissent les fonctions de l'agent peuvent devenir un point d'entrée : si un acteur malveillant publie une compétence qui exécute des commandes arbitraires, l'installation de cette compétence équivaut à fournir un accès à distance au système. Enfin, les vulnérabilités logicielles nouvellement diffusées dans OpenClaw lui-même peuvent être exploitées pour compromettre les instances et extraire des données sensibles.

La popularité du projet a également été utilisée pour la distribution de logiciels malveillants traditionnels. Les recherches menées par les sociétés de cybersécurité ont permis de documenter des campagnes qui utilisent de faux dépôts dans GitHub présentés comme des installateurs OpenClaw; ces dépôts ont téléchargé des informations sensibles par l'intermédiaire de Trojans tels que Atomic ou Vidar Stealer, et déployé des proxies et des backdoors tels que GhostSocks. Huntress décrit comment des dépôts malveillants sont arrivés à positionner dans les résultats de recherche d'IA et les infections facilitées dans les environnements Windows et macOS: Chasseur, et l'analyse de GhostSocks est en Synthient.

Les implications dans les secteurs critiques peuvent être graves: de la filtration des secrets commerciaux à l'interruption totale des services essentiels. Par conséquent, les autorités chinoises sont venues à limiter l'utilisation de ces applications sur des ordinateurs d'agences d'État et d'entreprises publiques, interdisant leur utilisation dans des bureaux et étendant même la restriction sur l'environnement familial du personnel militaire, comme Bloomberg l'a indiqué : Bloomberg.

Quelles mesures pratiques les entreprises et les utilisateurs peuvent-ils prendre pour réduire les risques? Le principe du privilège mineur devrait d'abord être appliqué : ne pas exécuter des agents munis de permis administratifs s'il n'est pas strictement nécessaire. Également recommandé isoler le service dans les conteneurs ou des machines virtuelles, et ne pas exposer le port de gestion par défaut à Internet. La gestion secrète devrait éviter le stockage de texte plat et passer par les systèmes de voûte; les compétences ne devraient être installées que à partir de sources vérifiées et les mises à jour d'extension automatique devraient être désactivées jusqu'à ce que leur intégrité soit validée. De plus, les contrôles réseau qui limitent les sorties non autorisées, les règles de pare-feu, l'inspection du trafic sortant et les mesures EDR augmentent la résilience à l'exfiltration et à l'exécution de codes indésirables.

Il y a également place pour des solutions de niveau produit : limiter ou désactiver la navigation automatique de l'agent, guérir et valider le contenu externe avant que le modèle ne le traite, et appliquer des mécanismes de signature et de révision pour les compétences aidera à atténuer les attaques d'ingénierie sociale et de manipulation d'instruction. OpenAI a attiré l'attention sur l'évolution de ces techniques et la nécessité de concevoir des agents pour résister à la manipulation, dans sa note sur la façon de protéger les agents contre les injections rapides: OpenAI.

La recommandation générale à toute organisation qui valorise la sécurité doit être d'agir avec prudence : l'opportunité de déléguer des tâches à un agent autonome ne devrait pas l'emporter sur les contrôles de base en matière de cybersécurité. Derrière une simple interface des mécanismes complexes peuvent être cachés qui, dans des mains mal configurées ou mal configurées, causent des dommages importants. La collectivité, les gestionnaires de projet et les équipes de sécurité devraient travailler ensemble à la publication de guides de déploiement sûrs, au durcissement par défaut et à des audits fréquents, et ainsi permettre à ces technologies de progresser sans devenir un risque systémique.