Pesquisa mostra que envenenar 0,1% dos dados de pré-treinamento basta para implantar backdoor em agentes de IA

O achado: backdoor plantado antes do fine-tuning

Um grupo de oito pesquisadores, entre eles Nicholas Carlini, Matthew Jagielski e Javier Rando, publicou em 27 de outubro de 2026 no arXiv o paper "Agentic Backdoors via Pretraining Poisoning". O trabalho mostra, segundo os próprios autores pela primeira vez, que é possível plantar um backdoor de execução remota de código (RCE) em um agente de IA↳Agentes de IA42 conteúdosOpera passa a integrar ChatGPT, Claude e outros agentes de IADev (Back & Front) · mar 2026Operações mais inteligentes, decisões mais rápidas: o impacto da IA agêntica na rotina de TIAI · abr 2026Adobe aposta em orquestração de agentes de IA: o que muda para devsDev (Back & Front) · abr 2026Ver tudo em AI → simplesmente contaminando os dados usados na fase de pré-treinamento do modelo, antes de qualquer etapa de fine-tuning ou alinhamento.

A ideia central é simples de enunciar e grave na prática: modelos de linguagem são pré-treinados em corpora gigantescos e não curados, raspados da web pública. Isso abre uma porta para atacantes que conseguem inserir conteúdo malicioso nesses dados, sem precisar de acesso direto ao pipeline de treinamento de ninguém. Basta que o conteúdo envenenado seja indexado nas fontes que acabam alimentando o corpus.

Como o experimento foi montado

Para medir a ameaça do começo ao fim, a equipe pré-treinou modelos Qwen3 do zero em três tamanhos: 0.6B, 1.7B e 4B parâmetros. Depois, cada modelo passou por um pós-treinamento limpo (sem qualquer manipulação adicional) para virar um agente de linha de comando, do tipo que hoje roda em ferramentas como Claude Code, Cursor ou Aider, com permissão para executar comandos no sistema do usuário.

O ponto crítico do experimento é que a contaminação aconteceu só na etapa de pré-treinamento, numa fração mínima do corpus: 0,1%. Com um design de poison desenvolvido pelos próprios autores, essa fração já foi suficiente para implantar o backdoor. O agente resultante se comporta normalmente em qualquer entrada comum, mas executa o comando escolhido pelo atacante sempre que um gatilho específico aparece no contexto.

O gatilho e a taxa de sucesso

O comportamento descrito é o clássico de um backdoor (ou trojan) em aprendizado de máquina: invisível em testes normais, ativo apenas na presença de um padrão específico. Os pesquisadores mediram isso pela taxa de sucesso do ataque (ASR, attack success rate) e encontraram um resultado que preocupa por dois motivos.

• A ASR cresce junto com o tamanho do modelo: o modelo de 4B parâmetros chegou a cerca de 92% de sucesso com apenas 0,1% do corpus envenenado.
• O ataque continua funcionando (ASR positiva) mesmo quando a taxa de poison cai para 0,0005%, uma fração centenas de vezes menor.

Esses dois pontos juntos significam que, quanto maior e mais capaz o modelo, mais fácil fica implantar o backdoor com menos dados contaminados, não o contrário do que se poderia esperar.

Por que isso é diferente do poisoning já conhecido

Ataques de envenenamento de dados em fine-tuning ou em conjuntos de alinhamento (RLHF) já são discutidos há anos na literatura de segurança de IA. O que este paper demonstra de novo é que o risco começa muito antes: na própria base de dados brutos usada para pré-treinar o modelo do zero, antes de qualquer curadoria de segurança.

Isso muda o modelo de ameaça. Um atacante não precisa comprometer a infraestrutura de uma empresa de IA nem envenenar um dataset de fine-tuning sob controle de alguém. Basta conseguir que um trecho de texto com o padrão malicioso seja indexado em páginas que acabam sendo raspadas para formar o corpus de pré-treinamento, como repositórios públicos, fóruns técnicos ou páginas de documentação.

O que muda para quem roda modelos localmente

Modelos de peso aberto como a família Qwen3 vêm ganhando espaço justamente para rodar agentes de linha de comando localmente, por custo e por privacidade. O problema é que quem baixa os pesos de um modelo aberto normalmente não tem nenhuma visibilidade sobre o corpus usado no pré-treinamento, nem como ele foi filtrado.

Em resumo: a cadeia de suprimentos de risco em IA agora se estende para trás do que a maioria dos times de segurança costuma auditar. Não basta revisar o dataset de fine-tuning, o prompt de sistema ou as permissões do agente; o próprio corpus bruto de pré-treinamento, normalmente opaco mesmo em modelos chamados de "abertos" (porque o peso é aberto, mas os dados raramente são), já pode carregar o comportamento malicioso embutido.

Para quem integra agentes de IA com acesso a shell, CI/CD↳CI/CD23 conteúdosCI/CD Mobile: o caos invisível que separa times comuns de times de alta performanceDev (Back & Front) · abr 2026Lambda: implementando com GitLab CI/CD e Terraform para Integração SFTP, S3 e Databricks em GoDev (Back & Front) · nov 2023Publicando sua aplicação Web Python no WebApp do Azure e configurando o CI/CD da sua aplicaçãoDevSecOps · abr 2019Ver tudo em DevSecOps → ou produção, o paper reforça um ponto prático: sandboxing e permissões restritas no agente continuam sendo a defesa mais confiável, porque atacar na origem dos dados de treinamento é, por definição, algo que o operador do agente não controla nem consegue auditar depois do fato.

O que ainda fica em aberto

Os experimentos foram feitos em modelos pequenos para os padrões atuais (0.6B a 4B parâmetros), bem abaixo da escala de modelos de produção usados em agentes comerciais. O paper não testa defesas, não avalia se técnicas de filtragem de dados ou alinhamento posterior conseguem remover o backdoor depois de implantado, e não detalha publicamente o design do poison usado, o que limita a replicação independente por ora. Os autores afirmam disponibilizar o código do experimento, mas a URL não constava no material consultado para esta matéria.

Fonte: Hacker News