HalluSquatting: la nueva amenaza de IA que convierte palabras inventadas en acciones ejecutables

Un equipo de investigación ha convertido dos fallos típicos de los asistentes de código impulsados por IA —la tendencia a inventarse entidades y la capacidad de aceptar instrucciones externas sin suficiente verificación— en un vector de ataque práctico que sus autores han denominado HalluSquatting. En esencia, el riesgo surge cuando un agente capaz de buscar recursos externos mezcla la imaginación del modelo con permisos de ejecución: si el asistente "recuerda" o inventa un nombre de repositorio o un complemento y un atacante registra ese nombre y pone dentro instrucciones maliciosas, el agente puede traer y ejecutar ese contenido como si fuera legítimo.

La combinación es lo que cambia el juego: no es un exploit de red tradicional ni una contraseña débil, sino la entrega de una cadena de texto que el propio asistente interpreta y materializa en acciones en la máquina del usuario. Como en botnets clásicos (piense en Mirai), una vez que un binario o script malicioso se instala y se ejecuta, esa máquina pasa a formar parte de una red controlada por el atacante; la diferencia es que aquí el vector de entrada puede ser una petición legítima: "instala X", y el "X" lo inventa la IA.

Hay varias condiciones que hacen viable este ataque. Primero, los modelos suelen equivocarse con recursos nuevos o poco documentados: cuando no existe una entidad en sus datos, las salidas se vuelven conjeturas consistentes. Segundo, muchas plataformas permiten modos que ahorran pasos y autorizaciones humanas —"auto-run", "skip permissions", "yolo", etc.— que eliminan la fricción necesaria para detectar anomalías. Tercero, los mercados y repositorios aún no bloquean sistemáticamente recreaciones maliciosas de nombres; eso facilita que un atacante reserve un nombre "hallucinado" y lo pueble con instrucciones de ingeniería social o comandos.

Las implicaciones operativas son profundas. Una sola cadena de texto puede saltar barreras de plataforma: no depende del sistema operativo de la víctima ni de una vulnerabilidad puntual en el stack de red; depende de que un asistente confíe en una fuente externa y tenga permiso para ejecutar lo que lea. Eso convierte a cualquier organización que permita agentes con permisos amplios en un objetivo atractivo, y reduce la eficacia de defensas tradicionales como firewalls o segmentación, porque la entrega ocurre por la capa de aplicación (texto) y luego se ejecuta desde dentro.

En el corto plazo, hay medidas prácticas que reducen el riesgo de forma inmediata: no permita modos que supriman la verificación humana en agentes que descargan y ejecutan código; exija que cualquier recomendación de instalación venga acompañada de una URL verificada y comprobaciones de integridad (firmas, checksums) antes de proceder; y trate los nombres que el asistente le devuelve como hipótesis, no como hechos. Además, añadir una capa que inspeccione el contenido recuperado por el agente antes de que se convierta en orden de ejecución eleva significativamente la barrera de explotación.

En la cadena de responsabilidad también hay cambios que deben impulsar los proveedores. Los diseñadores de asistentes deben priorizar que el planificador (planner) haga búsquedas verificadas antes de decidir acciones como "clonar" o "instalar", y deben entrenar los modelos para que reconozcan cuándo están extrapolando nombres o entidades y devuelvan una comprobación humana en vez de asumir. Los marketplaces y repositorios pueden mitigar el abuso limitando la reutilización de nombres emblemáticos bajo nuevas cuentas, marcando automáticamente nombres con alta probabilidad de ser "inventados" por modelos y, en casos razonables, reservándolos para el proyecto legítimo o proporcionando un mecanismo formal de reclamación y verificación.

También es relevante la mejora de las políticas y auditorías internas: equipos de seguridad y gobernanza deben catalogar cuándo y cómo los agentes pueden ejecutar comandos, auditar logs de ejecución y añadir detección de anomalías que busque patrones consistentes con instalaciones iniciadas por agentes. Las pruebas de pentesting deben incorporar escenarios con agentes de IA que simulen HalluSquatting para evaluar la exposición real de los entornos.

Es importante entender que no hay un parche único. Esta no es una vulnerabilidad aislada que se corrige con un CVE; es una clase de interacción entre modelos, interfaces y permisos. La defensa efectiva mezcla control técnico (bloquear auto-ejecuciones, verificaciones de origen), diseño de modelos (forzar búsquedas verificadas) y políticas humanas (revisión obligatoria para cambios que afecten la seguridad o el software instalado).

Para quien administra sistemas y para usuarios con herramientas de IA: prefieran modos interactivos y que pidan confirmación, verifiquen manualmente la identidad del autor y la procedencia de cualquier paquete o repositorio antes de permitir su instalación, y mantengan controles de integridad sobre los artefactos que se descargan. Para fabricantes de asistentes y propietarios de marketplaces la recomendación es más estructural: instrumenten la búsqueda y la verificación como paso obligatorio del flujo de instalación y consideren estrategias de pre-registro y bloqueo de nombres que los modelos inventan con frecuencia.

El fenómeno se sitúa en la frontera entre seguridad del aprendizaje automático y seguridad clásica: las soluciones vendrán de ambas disciplinas. Recursos como la guía de riesgos y mitigaciones para modelos de lenguaje de OWASP ofrecen un marco para empezar a integrar controles en el ciclo de vida de estas herramientas https://owasp.org/www-project-top-ten-for-large-language-models/, y el ejemplo histórico de botnets como Mirai recuerda que una única técnica de entrega nueva puede ser suficiente para escalar una amenaza si no se aplica defensa en profundidad https://en.wikipedia.org/wiki/Mirai_(malware). En última instancia, mitigar HalluSquatting exige que los productos de IA dejen de tratar nombres inventados como verdades y que las organizaciones vuelvan a poner en el centro la confirmación humana y la verificación de orígenes.