A IA Generativa se torna arma: como Gemini impulsiona ataques, suplantações e extração de modelos

A chegada de modelos gerativos avançados transformou a forma como investigamos, escrevemos e automatizamos tarefas. Mas, como em quase toda revolução tecnológica, também abriu novas vias para que atores maliciosos acelerem e perfeccionem campanhas contra empresas e pessoas. Recentemente, o Google revelou que um grupo ligado à Coreia do Norte estava empregando seu modelo Gemini para tarefas de reconhecimento e planejamento de ataques, um exemplo claro de como as ferramentas de inteligência artificial podem ser reutilizadas para fins hostis.

Segundo a equipe de inteligência de ameaças do Google, o ator conhecido como UNC2970 recorreu a Gemini para sintetizar informações de fontes abertas (OSINT) e construir perfis detalhados de objetivos de alto valor. Esse trabalho incluiu pesquisas sobre empresas de cibersegurança e defesa, mapeamento de postos técnicos específicos e até coleta de informações salariais, tudo com o objetivo de projetar comunicações de suplantação mais convincentes e detectar “pontos moles” para uma possível intrusão. A própria descrição do relatório sublinha como, nas mãos de um operador com motivação ofensiva, a linha entre a investigação profissional legítima e o reconhecimento malicioso torna-se muito fraca. Veja o relatório do Google aqui: Google Cloud: Distillation, experimentation and the adversarial use of AI.

UNC2970 não é um recém-chegado: relaciona-se com clusters historicamente associados a campanhas como Operation Dream Job, nas quais foram usadas ofertas de emprego falsas para enganar pessoal do setor aeroespacial, de defesa e energia e assim entregar malware. Essa técnica de "reclutador fictício" torna-se muito mais eficaz quando um modelo gerativo ajuda a confeccionar mensagens personalizadas e técnicas de engenharia social convincentes. O Google também documentou este padrão num contexto mais amplo de ameaças à indústria de defesa: mais detalhes aqui.

E não são apenas os grupos norte-coreanos que integraram Gemini em seus fluxos de trabalho. Vários intervenientes ligados a vários países começaram a utilizar modelos gerativos para acelerar fases do ciclo de ataque: desde a busca e coleta de credenciais até a criação de dossiers pessoais, a automação de testes de vulnerabilidades ou a ajuda para depurar código de exploração. Alguns equipamentos pediram ao modelo que resuma documentação open source, crie planos de teste direcionados ou até mesmo ajude a desenvolver ferramentas de raspagem web e sistemas de gestão de cartões SIM. O resultado é que tarefas que antes exigiam equipamentos humanos dedicados podem agora ser obtidas com maior rapidez e escala.

O abuso de modelos não se limita à inteligência prévia ao ataque. O Google identificou famílias de malware que aproveitam as APIs de Gemini para gerar código à carta. Um exemplo especialmente revelador é o downloader batizado como HONESTCUE, que envia pedidos à API e recebe como resposta código em C#. Esse código é compilado e executado diretamente em memória usando uma livraria legítima de .NET, CSharpCodeProvider, com o que se evitam artefatos em disco e dificulta-se a detecção tradicional. Outro caso detectado foi um kit de phishing automatizado com geração de conteúdo falso para suplantar uma plataforma de troca de criptomoedas, relacionado com operações de motivação financeira.

Também surgiram campanhas que exploram funções de partilha pública de serviços de IA para hospedar instruções falsas e atrair vítimas para malware que rouba informação; pesquisadores da comunidade de segurança apontaram várias ondas deste tipo de abuso. Esses incidentes ilustram como a capacidade de um modelo para produzir textos plausível pode ser instrumentalizada tanto para construir enganos como para criar componentes técnicos de uma cadeia de ataque.

Outro risco relevante identificado pelo Google é o da extração de modelos. Neste tipo de ataque, um adversário consulta em massa uma API de um modelo proprietário, registra as respostas e entrena um sistema substituto que replica, em grande parte, o comportamento do original. O Google bloqueou tentativas que consistiram em mais de 100.000 consultas concebidas para reproduzir a capacidade do modelo em múltiplas tarefas e em línguas diferentes do inglês. Pesquisas independentes demonstraram que, mesmo com um número relativamente pequeno de consultas, é possível treinar réplicas com uma fidelidade surpreendente: um experimento público conseguiu uma réplica que atingiu 80,1% de precisão após enviar 1.000 perguntas e treinar durante 20 épocas. Como adverte a pesquisadora Farida Shafik, “o comportamento é o modelo: cada par consulta-resposta é um exemplo de treinamento para uma réplica”. Para mais contexto técnico sobre esse ataque de extração, você pode consultar a análise de Praetorian: Praetorian — Stealing AI models through the API, e uma explicação sobre conceitos de treinamento como épocas aqui: Máquina Learning Mastery — Batch vs Epoch.

O que as organizações podem fazer neste panorama? Em primeiro lugar, reconhecer que as defesas tradicionais não são suficientes por si só: proteger a confidencialidade de pesos do modelo não evita que seu comportamento seja replicado se as respostas forem expostas através de uma API. Ao mesmo tempo, há medidas práticas que reduzem a superfície de ataque: segregar e proteger chaves de API, impor limites de taxa e anomalias no tráfego, aplicar controles de acesso e autenticação estrita, monitorar padrões de consulta atípicos e usar detecção baseada em comportamento para sinais de extração ou abuso. Também é imprescindível melhorar a formação de pessoal sobre engenharia social e processos de recrutamento, porque os enganos dirigidos e convincentes continuam a ser uma porta de entrada habitual.

Além de mitigações técnicas pontuais, a situação exige colaboração entre fornecedores de modelos, empresas utilizadoras e a comunidade de segurança para partilhar indicadores de abuso, melhorar a transparência sobre incidentes e avançar contramedidas a nível de arquitectura de modelos, como técnicas para mascarar ou limitar informações sensíveis nas respostas e mecanismos para detectar tentativas de extracção em tempo real. O Google e outros fornecedores já estão publicando pesquisas e guias sobre esses desafios; o intercâmbio público de achados é fundamental para reduzir o impacto.

Em suma, a capacidade dos modelos gerativos para serem ferramentas de produtividade é inegável, mas sua adoção generalizada também amplifica riscos novos e conhecidos. A inovação e a segurança devem avançar da mão: sem práticas de defesa adaptadas a este novo contexto, as mesmas capacidades que aceleram o trabalho legítimo podem converter as organizações em objectivos muito mais fáceis de explorar.

Fontes e leituras recomendadas: análise técnica do Google sobre usos adversários de Gemini e recomendações de mitigação ( Google Cloud), o estudo prático sobre extração de modelos de Praetorian ( Praetorian), documentação da Microsoft sobre compilação dinâmica em .NET ( Microsoft Docs) e o blog de segurança de Huntress para exemplos de campanhas baseadas em instruções públicas de IA ( Huntress).