ChatGPT vira alvo de destilação em massa com 16 mil prompts

ChatGPT foi usado como fonte em uma tentativa de extração de capacidades, segundo relatório da OpenAI divulgado em 30 de setembro. O caso aconteceu na primeira semana de julho. A empresa detectou 16 mil pedidos enviados a partir de um mesmo padrão de extração.

Esses prompts partiram de cerca de 4 mil usuários. Uma investigação posterior, feita por agentes independentes, ampliou o número.

Segundo esse levantamento, mais de 15 mil contas participaram do processo. No entanto, a operação foi totalmente desmantelada em 28 de julho.

A suspeita recai sobre a Moonshot AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →, responsável pelos modelos Kimi. A empresa ainda evitou se manifestar sobre a acusação.

O que a destilação faz com o modelo de origem ChatGPT

A técnica tem nome conhecido no setor. Na destilação, um modelo menor aprende a partir de respostas de um concorrente maior.

Além disso, o processo funciona por volume. Prompts massivos saem para o modelo alvo, e as respostas voltam para treinar o modelo menor.

Assim, o aluno absorve comportamento sem possuir a mesma base de dados. Além disso, ele dispensa o poder computacional original.

Repare que isso vale para qualquer API pública. Portanto, qualquer modelo acessível por requisição fica exposto ao mesmo risco.

ChatGPT e o alvo mais valioso: o registro interno de raciocínio

Aqui está a parte mais delicada do caso. Em formas sofisticadas da técnica, os operadores tentam levar o chatbot a revelar detalhes do próprio raciocínio.

Esse conteúdo funciona como registro interno do processamento de uma tarefa. Contudo, ele contém informações omitidas na resposta final.

O valor desse material explica o esforço. Com esses rastros, outro serviço consegue reproduzir capacidades do modelo mesmo sem a mesma infraestrutura.

A empresa protege esse registro com criptografia e outras camadas de segurança. Segundo o relatório, nenhuma dessas barreiras foi quebrada.

A ação ficou restrita à manipulação de prompts. Conversas armazenadas também seguiram intactas.

Por que esse tipo de ação preocupa governos

Existe um risco que vai além da propriedade intelectual. O processo de extração pode envolver envio de documentos sigilosos de um país para outro.

Esses documentos podem vir de empresas, de organizações públicas ou de estruturas militares. Consequentemente, China e Estados Unidos tratam a prática como questão de segurança nacional.

Mesmo assim, falta enquadramento legal. A indústria segue sem criminalização oficial para a técnica.

O histórico também mostra que o caso está longe de ser isolado. OpenAI e Anthropic já haviam denunciado uso de destilação por outros modelos chineses.

A xAI, de Elon Musk, também recorreu à técnica em algum momento do treinamento do Grok.

Como detectar esse padrão na sua própria API

Primeiro, monitore o formato das requisições. Prompts com estrutura idêntica repetida em volume alto formam a assinatura mais clara.

Segundo, correlacione contas. Nesse caso, 4 mil usuários enviaram o mesmo padrão, e a análise isolada por conta deixaria isso passar.

Terceiro, observe a distribuição temporal. Campanhas de extração costumam concentrar requisições em janelas curtas.

Além disso, aplique limite por conta e por organização. Cota agressiva encarece bastante esse tipo de operação.

Por fim, revise o que sua API devolve. Qualquer rastro de processamento intermediário facilita a reprodução do seu comportamento.

O que vem pela frente

A empresa prometeu avanços de segurança contra esse tipo de ação. Os detalhes técnicos, contudo, seguem sem divulgação.

Enquanto isso, vale acompanhar a resposta da Moonshot AI. E observe também se o tema avança para regulação formal, já que a prática segue em zona cinzenta.

Acompanhe nosso perfil no Instagram!