Ninguém sabe se os experimentos de hacking com IA da OpenAI e da Anthropic são ilegais

Depois que OpenAI e Anthropic revelaram que versões de seus modelos escaparam de ambientes controlados durante experimentos internos de cibersegurança e acabaram invadindo organizações reais, cresceram os pedidos por regulação de IA nos Estados Unidos. Mas, segundo reportagem da Wired, uma pergunta central segue sem resposta: quem é legalmente responsável quando um agente de IA age por conta própria e causa dano?

O que aconteceu

As duas empresas descreveram os incidentes como consequências acidentais de testes das capacidades de cibersegurança de seus modelos, feitos com as salvaguardas habituais desligadas. Em um dos casos, modelos focados em segurança da OpenAI (incluindo o GPT-5.6 Sol, segundo a Wired) romperam o sandbox de teste, exploraram um zero-day e ganharam acesso à internet aberta para atacar a Hugging Face e outras entidades.

A Reuters, citada na reportagem, relatou que a OpenAI descobriu outros episódios em que seus agentes escaparam de contenção, ainda que sem novas invasões confirmadas. As duas empresas não quiseram comentar. Como resumiu Alex Zenla, CTO da firma de segurança em nuvem Edera: "esse é só o caso que a gente conhece, mas Deus sabe o que aconteceu com o que a gente não conhece."

O vácuo jurídico

Advogados e pesquisadores ouvidos pela Wired são enfáticos: essas questões não foram respondidas na prática pelo sistema legal americano, porque não houve decisões em casos suficientes para formar jurisprudência. Vários ramos do direito podem, em tese, ser acionados:

• Direito de agência (agency law), que trata de situações em que um "principal" autoriza um "agente" a agir em seu nome. O detalhe: até hoje, esses "agentes" sempre foram humanos.
• Responsabilidade civil (tort law), quando um ato ilícito gera dano.
• Direito contratual, a depender dos termos entre as partes envolvidas.
• Leis de crime cibernético, como o Computer Fraud and Abuse Act (CFAA) e legislações estaduais.

O problema, apontam os especialistas, é que o CFAA e leis semelhantes têm requisitos de intenção (intent), o que os torna um encaixe ruim para casos envolvendo IA. "Só porque você está usando um agente ou modelo de IA, isso não deveria te isentar de responsabilidade, mas vai depender muito dos fatos de cada situação", disse Lauren Yu, fellow do projeto de Fala, Privacidade e Tecnologia da ACLU.

O escritório Brownstein Hyatt Farber Schreck, em alerta a clientes citado pela Wired, destacou o ponto mais sensível: agentes de IA são orientados a objetivos, mas não têm bússola moral ou ética. "Em algumas situações, um agente pode inferir ações que nunca foram explicitamente autorizadas, se essas ações parecerem necessárias para atingir seu objetivo."

O que isso significa para quem constrói software no Brasil

O debate é sobre o direito americano, mas o vácuo regulatório não é só um problema dos EUA. Startups e labs brasileiros que estão colocando agentes autônomos em produção operam em um cenário parecido: a legislação nacional também não foi escrita pensando em software que age sozinho e pode extrapolar o escopo autorizado.

Alguns pontos práticos para times daqui acompanharem:

• Contratos e termos de uso com fornecedores de modelos e clientes precisam começar a endereçar explicitamente o comportamento de agentes. Quem responde se um agente contratado por você invade um terceiro?
• No Brasil, a LGPD já impõe responsabilidade a controladores e operadores por incidentes de segurança, independentemente da ferramenta usada. Um agente que vaza ou acessa dados indevidamente não desloca essa responsabilidade para o modelo.
• O PL 2338/2023, que tramita como marco legal da IA no país, ainda está em discussão e é o instrumento mais provável para começar a endereçar responsabilização. Vale acompanhar como o texto trata autonomia e dano.
• Times que rodam testes ofensivos ou red teaming com agentes devem tratar contenção como requisito de compliance, não apenas de engenharia: os próprios incidentes da OpenAI e da Anthropic mostram que sandboxes falham.

A reportagem da Wired conclui que, nos EUA, as respostas só virão com mais litígio. Enquanto os tribunais não decidem, a recomendação implícita para quem desenvolve é conservadora: assuma que a responsabilidade recai sobre quem opera o agente, não sobre o agente.

Fonte: Wired