Open Secure AI: invasão que fez a indústria abrir o código da defesa IA

Um consórcio novo entrou em campo com uma proposta incômoda para quem vende segurança em caixa fechada. A Open Secure AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → Alliance reúne Nvidia, Microsoft, IBM, Red Hat, Cisco, Cloudflare, CrowdStrike, Palo Alto Networks, Adobe, Salesforce, SAP e ServiceNow. Além delas, entram fornecedores de infraestrutura como Dell, HPE, NetApp e Snowflake. Do lado dos laboratórios, aparecem Hugging Face, Cognition, Nous Research e Thinking Machines Lab. A governança fica com a Linux↳Linux34 conteúdosKali Linux em um Servidor VPS: como, quando e por que usar?DevSecOps · dez 2024Construindo um Windows Service ou Linux Daemon com Worker Service & .NET Core – Parte 2Dev (Back & Front) · jul 2020Criando uma WebApi utilizando .NET, Linux e VSCodeDev (Back & Front) · ago 2019Ver tudo em DevSecOps → Foundation, que já mantém o trabalho da comunidade OpenSSF.

O ponto de partida, porém, tem endereço bem específico. No entanto, foi um incidente real, com log, contagem de ações e um modelo trocado no meio da investigação.

A brecha que a Hugging Face só conseguiu investigar depois de trocar de modelo

A Hugging Face sofreu uma intrusão em produção. Em seguida, a equipe partiu para a análise forense usando ferramentas de IA fechadas. E aí veio o problema.

Os filtros desses sistemas travaram justamente a investigação. Na prática, o modelo confundia a atividade do invasor com a ação legítima de quem defendia. Ou seja, o defensor apanhou da própria salvaguarda.

A saída foi migrar para o GLM 5.2, um modelo aberto rodando dentro da infraestrutura da própria empresa. Com ele, o time analisou mais de 17.000 ações executadas durante a intrusão. Foi essa análise que permitiu conter a violação.

Quando o filtro de segurança confunde o defensor com o invasor

Repare no tipo de dependência que esse episódio expõe. Assim, se o seu modelo de resposta a incidentes fica atrás do controle de acesso de um fornecedor, você tem duas opções ruins durante um incidente. Primeiro, esperar por uma correção do fornecedor. Depois, seguir sem visibilidade enquanto o relógio corre.

A Hugging Face tinha pesos sobrando e um laboratório de pesquisa em casa. A maioria das empresas, no entanto, não tem. É exatamente esse buraco que a Alliance usa como argumento para tratar modelos abertos de fronteira como infraestrutura, e não como curiosidade de fim de semana.

O agente de segurança começa muito antes do modelo

Aqui está a parte que interessa a quem escreve código. Um agente de segurança é um stack inteiro. O modelo faz o raciocínio, mas em volta dele existem camadas que decidem o que acontece de verdade.

Entre essas camadas, aparecem verificação de identidade, escopo de permissão, harness, logging e avaliação contínua. O harness merece atenção especial. Afinal, ele é a camada de software que fica entre o modelo e as ações que o modelo pode disparar.

Um modelo excelente ainda produz um agente impossível de auditar quando o harness registra pouco e restringe menos ainda. Portanto, boa parte das contribuições do grupo mira abaixo da camada do modelo.

O que cada empresa colocou na mesa

As entregas iniciais dividem o problema em pedaços auditáveis. Veja como isso se distribui.

Nvidia: NOOA. O NVIDIA Labs Object Oriented Agent saiu no GitHub como código de pesquisa aberto. Ele ataca a camada de harness, com foco em rastrear, testar, auditar e governar o comportamento do agente.

HPE: SPIFFE e SPIRE. O framework emite identidades criptográficas para workloads. Assim, o sistema confirma que aquele agente é quem diz ser antes de liberar acesso a recursos corporativos.

Hugging Face: Safetensors. O formato de armazenamento de pesos sem código executável embutido foi doado à PyTorch Foundation. Dessa forma, fecha uma rota conhecida de execução remota presente em formatos antigos de arquivo de modelo.

IBM e Red Hat: Lightwell. O projeto distribui patches assinados digitalmente ao longo da cadeia de suprimentos de software aberto.

Microsoft: MDASH. É um harness de varredura que roda vários agentes especializados contra o código. Além de apontar padrões suspeitos, ele tenta provar que o bug é explorável.

xAI: Grok Build. O agente de codificação virou código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) →, e a empresa afirma que pretende liberar os pesos da linha Grok para pesquisadores externos.

Pesos abertos também são pesos que o atacante lê

Vale registrar o contra-argumento, porque a própria Alliance reconhece o risco. Pesos que qualquer defensor inspeciona também ficam disponíveis para quem quer removê-los das salvaguardas ou fazer fine tuning para uso malicioso.

A resposta do grupo segue outra linha. Pesos fechados apenas movem o risco para trás do controle de acesso de um fornecedor. Logo, a aposta é combinar abertura com avaliação, monitoramento e correção rápida.

O recado para quem escreve as regras

A mensagem pública tem destinatário claro: reguladores que estão redigindo normas de segurança de IA neste momento. O pedido é tratar pesos abertos, harnesses e ferramental de segurança como ativos de defesa.

Uma proibição ampla, segundo o grupo, concentraria capacidade defensiva em poucos fornecedores fechados. Como consequência, eliminaria justamente a alternativa que salvou a investigação da Hugging Face.

Ainda assim, cabe ceticismo. O documento fundador se apoia em um único incidente documentado. Várias contribuições saíram nesta mesma semana, sem histórico em ambiente hostil de produção. O NOOA, inclusive, continua como framework de pesquisa no GitHub, longe de um produto com contrato de manutenção.

O que dá para levar para a sua sprint

Enquanto o debate político se arrasta, alguns itens já rendem trabalho concreto no seu backlog.

1. Audite o formato dos seus pesos. Entretanto se algum artefato ainda usa pickle, migre para Safetensors.
2. Dê identidade aos seus agentes. SPIFFE e SPIRE resolvem o problema de workload que se autentica com segredo estático.
3. Trate o harness como código de produção. Ou seja, com teste, log estruturado e revisão de escopo de permissão.
4. Simule o cenário da Hugging Face. Pergunte ao time o que aconteceria se o fornecedor bloqueasse a sua ferramenta de análise no meio de um incidente.
5. Assine sua cadeia de dependências. O Lightwell aponta a direção, e a prática já existe hoje com Sigstore.

A Open Secure AI Alliance vai precisar de mais casos como o da Hugging Face para virar padrão de mercado. Por outro lado, o incidente entregou algo raro nesse debate: um exemplo concreto de defensor bloqueado pela própria ferramenta. Isso costuma valer mais do que qualquer whitepaper.

Acompanhe nosso perfil no Instagram!