A UE investiu o X por Grok: concordou com o DSA ao lançar uma IA que gera imagens sexuais não consentidas?

A Comissão Europeia lançou um procedimento formal ao abrigo do Regulamento sobre Serviços Digitales para descobrir se X avaliou adequadamente os riscos antes de lançar a sua ferramenta de inteligência artificial Grok, após a utilização desta tecnologia para gerar imagens de conteúdo sexual não consentido. A investigação surge após exemplos em que a IA produziu imagens manipuladas de natureza sexual, algumas das quais poderiam se encaixar na definição de material de abuso sexual infantil, segundo as autoridades europeias. Mais informações sobre a nota oficial da Comissão estão disponíveis na sua comunicado de imprensa.

Desde o início, os reguladores expressaram a gravidade do assunto: o uso de modelos gerativos para criar imagens sexuais não consensuadas levanta riscos concretos para a integridade e a privacidade de pessoas reais, e exige uma resposta regulamentar rápida. A comisaria europeia responsável pela tecnologia sublinhou que não se trata de efeitos colaterais menores, mas de danos que afectam especialmente mulheres e menores, e que a investigação pretende verificar se X cumpriu as suas obrigações legais sob a legislação europeia.

O contexto institucional foi formado em poucos dias. O Gabinete do Comissariado de Informação do Reino Unido (ICO) entrou em contato com X e xAI no início de janeiro para coletar informações sobre as medidas tomadas em matéria de proteção de dados, e o regulador britânico de segurança on-line, Ofcom, iniciou sua própria indagação sobre o surgimento de imagens sexuaisizadas geradas por Grok. Você pode consultar o comunicado do ICO em seu site aqui e a ação da Ofcom aqui. Paralelamente, o procurador-geral da Califórnia abriu uma pesquisa sobre a geração de material sexual não consentido usando Grok; sua nota oficial pode ser lida na web do Departamento de Justiça desse Estado.

A reação de X incluiu limitar a capacidade de Grok para gerar e editar imagens, restringindo esse serviço a assinantes de pagamento, uma decisão que recebeu críticas por converter uma funcionalidade que demonstrou ser potencialmente ilegal em um serviço premium. Vozes do governo britânico classificaram essa medida como uma resposta insuficiente e ofensiva para as vítimas de violência sexual; The Guardian recolhe as reações públicas e políticas.

O processo legal na União Europeia faz com que esta investigação tenha particular significado. X foi designada como plataforma online muito grande pela UE depois de superar o limiar de usuários ativos mensais, o que a submete a obrigações reforçadas sob a Digital Services Act (DSA). Entre essas obrigações estão a avaliação e mitigação de riscos sistémicos, como a difusão de conteúdos ilegais e as ameaças aos direitos fundamentais, a transparência face às autoridades e a cooperação em investigação. Além disso, em Dezembro, a Comissão sancionou a empresa com 120 milhões de euros por incumprimentos em matéria de transparência sob a mesma lei, o que demonstra que as autoridades europeias aplicam com firmeza essas regras.

O que pode resultar deste procedimento? No curto prazo, a Comissão examinará a documentação e os testes apresentados por X para decidir se a empresa aplicou procedimentos de avaliação de riscos apropriados antes de ativar o Grok e se lançou salvaguardas eficazes para evitar a produção e difusão de material ilegal. Se estiverem em falta, as consequências podem ser de ordem para corrigir práticas e auditorias obrigatórias até multas significativas. O DSA confere ferramentas de supervisão que buscam que as plataformas não tratem a segurança dos usuários como uma mera questão operacional, mas como uma responsabilidade central de suas operações.

Para além do X e do Grok, este caso levanta questões abrangentes sobre como os sistemas de IA devem ser geridos por imagens e pela responsabilidade das plataformas que os oferecem. A tecnologia gerativa facilita a criação maciça de conteúdos que falsificam a presença de pessoas reais em contextos íntimos; sem medidas de design seguras, controles de acesso e processos de moderação robustos, o potencial de dano é real e tangível. O debate público e regulatório aposta em exigir avaliações de riscos completas, testes de mitigação antes da implantação comercial e canais efetivos para denunciar e retirar conteúdo ilícito rapidamente.

Para usuários e desenvolvedores, a lição é clara: a inovação em IA não está isenta de limites legais e éticos. Os reguladores já não esperam reações a posteriori; querem ver provas de que os produtos se pensaram desde o design para minimizar danos, e exigem transparência sobre como funcionam esses mecanismos. Este caso será, provavelmente, um ponto de referência sobre como as autoridades interpretam e aplicam o DSA a tecnologias emergentes.

Enquanto a investigação avança, a atenção será mantida nas medidas que X adopte e na resposta dos reguladores transnacionais. A resolução deste dossiê servirá de prova para o alcance real da regulamentação digital contra ferramentas de IA capazes de gerar conteúdos potencialmente prejudiciais e marcará um precedente sobre o equilíbrio entre inovação, liberdade de expressão e proteção de direitos fundamentais no ambiente digital.