La UE investiga a X por Grok: ¿cumplió con el DSA al lanzar una IA que genera imágenes sexuales no consentidas?

La Comisión Europea ha puesto en marcha un procedimiento formal en virtud del Reglamento sobre Servicios Digitales para averiguar si X evaluó adecuadamente los riesgos antes de lanzar su herramienta de inteligencia artificial Grok, tras el uso de esta tecnología para generar imágenes de contenido sexual no consentido. La investigación llega después de que se detectaran ejemplos en los que la IA produjo imágenes manipuladas de carácter sexual, algunas de las cuales podrían encajar en la definición de material de abuso sexual infantil, según las autoridades europeas. Más información sobre la nota oficial de la Comisión está disponible en su comunicado de prensa.

Desde el principio, los reguladores han expresado la gravedad del asunto: el uso de modelos generativos para crear imágenes sexuales no consensuadas plantea riesgos concretos para la integridad y la privacidad de personas reales, y exige una respuesta regulatoria rápida. La comisaria europea responsable de tecnología subrayó que no se trata de efectos colaterales menores, sino de daños que afectan especialmente a mujeres y menores, y que la investigación pretende comprobar si X cumplió con sus obligaciones legales bajo la normativa europea.

El contexto institucional se ha ido conformando en pocos días. La Oficina del Comisionado de Información del Reino Unido (ICO) contactó a X y a xAI a principios de enero para recabar información sobre las medidas adoptadas en materia de protección de datos, y el regulador británico de seguridad en línea, Ofcom, inició su propia indagación sobre la aparición de imágenes sexualizadas generadas por Grok. Puede consultarse el comunicado del ICO en su web aquí y la acción de Ofcom aquí. Paralelamente, el fiscal general de California abrió una pesquisa sobre la generación de material sexual no consentido usando Grok; su nota oficial puede leerse en la web del departamento de justicia de ese estado.

La reacción de X ha incluido limitar la capacidad de Grok para generar y editar imágenes, restringiendo ese servicio a suscriptores de pago, una decisión que recibió críticas por convertir una funcionalidad que ha demostrado ser potencialmente ilegal en un servicio premium. Voces del gobierno británico calificaron esa medida como una respuesta insuficiente y ofensiva para las víctimas de violencia sexual; The Guardian recoge las reacciones públicas y políticas.

El trasfondo legal en la Unión Europea hace que esta investigación tenga particular trascendencia. X fue designada como plataforma en línea muy grande por la UE tras superar el umbral de usuarios activos mensuales, lo que la somete a obligaciones reforzadas bajo la Digital Services Act (DSA). Entre esas obligaciones están la evaluación y mitigación de riesgos sistémicos —como la difusión de contenidos ilegales y las amenazas a derechos fundamentales—, la transparencia frente a las autoridades y la cooperación en investigaciones. Además, en diciembre la Comisión sancionó a la compañía con 120 millones de euros por incumplimientos en materia de transparencia bajo la misma ley, lo que demuestra que las autoridades europeas aplican con firmeza estas normas.

¿Qué puede derivarse de este procedimiento? En el corto plazo, la Comisión examinará la documentación y las pruebas presentadas por X para decidir si la compañía aplicó procedimientos de evaluación de riesgos apropiados antes de activar Grok y si puso en marcha salvaguardas eficaces para evitar la producción y difusión de material ilegal. Si se encuentran incumplimientos, las consecuencias pueden ir desde órdenes para corregir prácticas y auditorías obligatorias hasta multas significativas. El DSA confiere herramientas de supervisión que buscan que las plataformas no traten la seguridad de los usuarios como una mera cuestión operativa, sino como una responsabilidad central de sus operaciones.

Más allá de X y Grok, este caso plantea preguntas amplias sobre cómo deben gestionarse los sistemas de IA que generan imágenes y sobre la responsabilidad de las plataformas que los ofrecen. La tecnología generativa facilita la creación masiva de contenidos que falsifican la presencia de personas reales en contextos íntimos; sin medidas de diseño seguras, controles de acceso y procesos de moderación robustos, el potencial de daño es real y tangible. El debate público y regulatorio apuesta por exigir evaluaciones de riesgos completas, pruebas de mitigación antes del despliegue comercial y canales efectivos para denunciar y retirar contenido ilícito rápidamente.

Para los usuarios y desarrolladores, la lección es clara: la innovación en IA no está exenta de límites legales y éticos. Los reguladores ya no esperan reacciones a posteriori; quieren ver pruebas de que los productos se han pensado desde el diseño para minimizar daños, y exigen transparencia sobre cómo funcionan esos mecanismos. Este caso será, probablemente, un punto de referencia sobre cómo las autoridades interpretan y aplican el DSA a tecnologías emergentes.

Mientras la investigación avanza, la atención se mantendrá puesta en las medidas que X adopte y en la respuesta de los reguladores transnacionales. La resolución de este expediente servirá de prueba para el alcance real de la regulación digital frente a herramientas de IA capaces de generar contenidos potencialmente dañinos, y marcará un precedente sobre el equilibrio entre innovación, libertad de expresión y protección de derechos fundamentales en el entorno digital.