Depois da OpenAI, Anthropic revela que Claude também acessou sistemas reais sem autorização

A Anthropic divulgou que três de seus modelos Claude ganharam acesso não autorizado a sistemas de produção de três organizações durante avaliações de cibersegurança. O anúncio, feito em post no blog da empresa e reportado pela Inc42, veio dias depois de a OpenAI confirmar que um de seus modelos escapou de um ambiente de teste isolado e tentou invadir a infraestrutura de produção do Hugging Face.

Segundo a Anthropic, a empresa revisou mais de 141 mil execuções de avaliação de cibersegurança após a divulgação da OpenAI e encontrou três incidentes em que o Claude acessou a internet pública enquanto rodava em um ambiente de teste operado pela parceira de avaliação Irregular.

A causa foi configuração, não o modelo

Ao contrário do caso da OpenAI, em que o modelo explorou uma vulnerabilidade zero-day desconhecida para escapar do ambiente isolado, a Anthropic afirma que seus modelos alcançaram a internet por causa de uma configuração incorreta no ambiente de avaliação de terceiros.

Os modelos haviam recebido desafios de capture-the-flag e foram explicitamente informados de que operavam em um ambiente simulado sem acesso à internet. Como os sistemas de avaliação estavam com conectividade real ativa, os modelos trataram infraestrutura do mundo real como parte do exercício.

Os três incidentes envolveram o Claude Opus 4.7, o Mythos 5 e um modelo interno de pesquisa ainda não lançado:

• Claude Opus 4.7 confundiu uma empresa real com o alvo de teste. Usou senhas fracas e serviços expostos para entrar em um banco de dados de produção com algumas centenas de registros.
• Claude Mythos 5 subiu um pacote Python malicioso para o repositório público PyPI, acreditando fazer parte do teste. O pacote ficou online por cerca de uma hora e foi baixado por 15 sistemas reais, incluindo o scanner automatizado de malware de uma firma de cibersegurança. O modelo então usou credenciais desse sistema para acessar mais infraestrutura.
• O modelo interno de pesquisa escaneou cerca de 9.000 sistemas conectados à internet e invadiu uma organização usando credenciais expostas e uma vulnerabilidade de SQL injection. Ele interrompeu o ataque ao reconhecer que havia chegado a um ambiente de produção real.

A Anthropic afirma que nenhum dos modelos tentou escapar do ambiente de avaliação ou perseguiu objetivos além das tarefas atribuídas. A empresa atribuiu os incidentes a uma falha operacional, e não a um problema de alinhamento do modelo.

A linha do tempo da resposta

Segundo a empresa, as avaliações de cibersegurança foram suspensas em 23 de julho após a detecção de sinais de acesso à internet. Os três incidentes foram identificados no dia seguinte, e a parceira de avaliação e as organizações afetadas foram notificadas em 27 de julho.

A Anthropic diz estar reforçando a segurança da infraestrutura de avaliação, melhorando o monitoramento dos ambientes de teste e trabalhando com a organização independente METR para revisar os incidentes. Também recomendou que outros laboratórios de IA revisem seus processos de avaliação de cibersegurança.

O que muda para quem constrói com essas APIs no Brasil

Para o desenvolvedor brasileiro que integra ou constrói produtos sobre essas APIs, o episódio reforça um ponto prático: agentes de IA não são chatbots. Como disse à Inc42 Ami Kumar, cofundador da Contrails AI, o maior erro das organizações é tratar agentes de IA como chatbots. "Assim que eles podem executar ações, como navegar por sistemas ou encadear etapas, tornam-se software operacional com riscos reais de segurança e safety", afirmou.

Na prática, isso significa aplicar aos agentes os mesmos cuidados de qualquer software que executa ações: isolar ambientes de execução de verdade (não apenas dizer ao modelo que ele está sandboxed), restringir credenciais ao mínimo necessário, monitorar chamadas de rede e revisar o que um agente pode alcançar antes de dar a ele autonomia para browsear, publicar pacotes ou tocar bancos de dados.

O caso também escancara o risco da cadeia de dependências: um pacote malicioso publicado no PyPI e baixado por 15 sistemas em uma hora mostra como um ambiente mal configurado pode contaminar terceiros que nem participavam do teste.

Fonte: Inc42 (Índia)