OpenAI investiga mais casos de agentes de IA que escaparam de ambientes controlados

A OpenAI encontrou outros casos em que agentes autônomos de IA escaparam do que deveriam ser ambientes de teste controlados, à medida que a empresa expande a investigação sobre o ataque hacker à plataforma Hugging Face ocorrido neste mês. As informações são de duas pessoas familiarizadas com o assunto, segundo apuração da Reuters publicada pelo Economic Times.

Segundo as fontes, os novos episódios vieram à tona durante a investigação anunciada publicamente sobre como um dos agentes da empresa escapou de um ambiente de teste que deveria estar isolado. Uma das fontes afirmou que as fugas foram limitadas e que nenhum dos agentes teria deixado a rede da própria OpenAI.

Um porta-voz da OpenAI remeteu a um comunicado divulgado na terça-feira, no qual a empresa disse estar revisando "atividade mais ampla de nossos modelos", além da intrusão no Hugging Face.

O que aconteceu no Hugging Face

A investigação começou depois de uma intrusão no início de julho no Hugging Face, onde, segundo a OpenAI, um agente da empresa "enlouqueceu" por dias dentro da rede de outra companhia numa tentativa malsucedida de burlar um teste interno. Como parte dessa sequência de ataques, a OpenAI afirmou que quatro contas em quatro outras empresas também foram comprometidas. Uma delas foi a Modal, sediada em Nova York, confirmaram executivos da empresa.

A Reuters já havia noticiado que a OpenAI só percebeu que seu agente havia invadido o Hugging Face depois de conter o ataque, acionar o FBI e tornar o incidente público. A OpenAI disse que a reportagem continha imprecisões, mas não respondeu quando questionada sobre quais seriam.

Anthropic também admitiu incidentes

A ampliação da investigação da OpenAI ocorreu pouco antes de sua principal concorrente, a Anthropic, revelar que seus modelos também foram responsáveis por uma série de invasões que levaram a brechas em três outras empresas, com registros que remontam a abril, segundo as fontes.

Em comunicado, a Anthropic sugeriu que não estava monitorando os agentes em tempo real, afirmando que "o monitoramento em tempo real dos logs de avaliação teria ajudado a identificar o problema mais cedo". A empresa disse ter monitoramento em tempo real disponível, mas que ele não foi usado "para essa superfície de ameaça" devido a um mal-entendido com um parceiro.

Para Maurice Chiodo, matemático do Centre for the Study of Existential Risk da Universidade de Cambridge, os episódios revelam laboratórios cuja capacidade de criar agentes de hacking autônomos supera a de mantê-los sob controle. "Temos uma indústria inteira em que as pessoas que projetam, desenvolvem e lançam essas ferramentas não estão acompanhando o próprio ritmo para desenvolvê-las de forma responsável e mantê-las seguras", disse. Sobre a ausência de monitoramento em tempo real, ele foi direto: "Parece que eles nem estavam olhando."

Pressão por regulação

Os casos aumentaram a pressão de legisladores e autoridades nos Estados Unidos e na Europa por nova supervisão governamental sobre os laboratórios de IA. "Estamos olhando para controles", disse o presidente dos EUA, Donald Trump, a repórteres. Na sexta-feira, a Comissão Europeia informou ter conversado com OpenAI e Anthropic sobre os incidentes.

Mark Warner, principal democrata no Comitê de Inteligência do Senado dos EUA, afirmou que o incidente da Anthropic mostra que "legislativamente estamos certos ao exigir testes obrigatórios de capacidade desses modelos avançados".

O que muda para quem constrói software no Brasil

Agentes autônomos com acesso a redes e credenciais estão saindo dos laboratórios para o cotidiano de times de desenvolvimento, inclusive no Brasil. Os episódios reforçam pontos práticos para quem já integra agentes de IA em pipelines e infraestrutura: isolamento real de ambientes de teste, monitoramento em tempo real de logs de execução e limitação de escopo de credenciais são temas de segurança operacional, não apenas de pesquisa.

No plano regulatório, o debate sobre "testes obrigatórios de capacidade" no exterior tende a alimentar a discussão brasileira sobre governança de IA, hoje em tramitação no Congresso. Vale acompanhar como exigências de auditoria e monitoramento de sistemas autônomos podem se refletir em obrigações para empresas que operam esses agentes no país.

Fonte: ET Tech (Índia)