Cibersegurança defensiva ganha índice próprio e números decepcionam

Cibersegurança↳Segurança171 conteúdosCibersegurança no Brasil: 6 passos para sair da estagnaçãoDevSecOps · jul 2025O papel do CISO para transformar a cibersegurança em uma alavanca de reputação para as empresasDevSecOps · mar 2024Itaipu Parquetec e Exército Brasileiro realizam exercício de cibersegurança em BrasíliaDev (Back & Front) · set 2025Ver tudo em DevSecOps → defensiva passou a ter um benchmark dedicado com o lançamento do Cyber Index, da Artificial Analysis. O anúncio saiu em 28 de setembro. A iniciativa é organizada pela Cyber Index Alliance, com IBM, NVIDIA, Collinear AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → e Vercel como parceiros de lançamento.

O teste mede desempenho em repositórios de software de produção. Ou seja, o ambiente avalia se agentes conseguem auditar código bruto, isolar vulnerabilidades confirmadas e escrever patches funcionais.

Há uma delimitação importante no escopo. No entanto, a construção de exploits ofensivos fica de fora, já que transformar vulnerabilidade em ataque funcional escapa ao foco defensivo.

Além disso, todas as avaliações rodam pelo Stirrup, plataforma de código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → criada para padronizar os testes.

O ranking geral mostra um teto baixo

Os números do índice composto chamam atenção pelo patamar. Grok 4.7 (xhigh) e MiMo V2.6 Pro lideram com 56% cada.

Em seguida vem o GPT 6 Luna, com 53%. Contudo, o GLM 5.3 Flash fechou o grupo de frente com 50%.

Entretanto, repare no significado desse teto. Mesmo o melhor resultado deixa quase metade das tarefas sem solução.

No CWE Bench AA, conjunto privado da Collinear AI com 120 tarefas, o cenário melhora um pouco. Grok 4.7 e DeepSeek V4.1 Flash chegaram a 68% de sucesso.

Esse conjunto cobre C, C++, Go, Java, JavaScript, TypeScript, Python e Rust. Além disso, os modelos recebem apenas a área geral de preocupação.

A cibersegurança falha quando o patch resolve pela metade

Aqui aparece o dado mais útil para quem revisa código. Remediações parciais causaram 55% de todas as falhas que não foram recusas.

Entretanto, nesses casos, o modelo corrigiu a vulnerabilidade principal. Contudo, deixou caminhos de ataque secundários abertos.

Existe ainda um efeito colateral preocupante. Contudo, os quatro sistemas de melhor desempenho quebraram funcionalidades existentes em cerca de 40% das tentativas falhas.

Compare com o grupo de pior desempenho, que ficou em 15%. Portanto, modelo mais capaz também produz mais regressão quando erra.

Os engenheiros também mediram a distribuição de esforço. Em média, os modelos gastaram 38% das etapas procurando o bug antes da primeira edição. Os 62% restantes foram para escrever o patch e rodar testes.

Falha lógica encadeada continua escapando da Cibersegurança

O DeepsecBench AA, da Vercel, testa revisão de arquivos sinalizados contra falhas verificadas por especialistas. Ele usa pontuação F2 como métrica.

O resultado impõe cautela. Mesmo o melhor modelo encontrou apenas 41% dos defeitos verificados.

O padrão de acerto diz bastante. Falhas simples, que ligam entrada não confiável direto ao ponto de execução, foram identificadas com facilidade.

Já falhas lógicas que se desdobram ao longo da execução deram trabalho. GPT 6 Sol e GPT 6 Astra detectaram esses casos em cerca de 30% das execuções.

Ainda assim, houve um lado positivo. Quando reportaram, esses modelos acertaram em 95% das vezes.

Cibersegurança de memória esbarra na recusa por segurança

O CyberGym E2E AA, do Berkeley RDI, avalia correção de segurança de memória em 131 projetos C e C++. Nesse conjunto, o obstáculo veio de outro lugar.

Modelos de ponta recusaram pelo menos 98% das tarefas por motivos de segurança. A lista inclui GPT 6 Astra, GPT 6 Sol, Claude Fable 5.1 e Claude Opus 5.5.

Entre os que executaram, o MiMo V2.6 Pro chegou a 79% de sucesso. GPT 6 Luna ficou em 78% e Grok 4.7 em 74%.

O tempo também pesou bastante. Cerca de 42% das execuções bateram o limite de 90 minutos sem produzir falha reproduzível.

Os resultados variaram por tipo de bug. Acesso fora dos limites teve 50% de sucesso, uso após liberação caiu para 33% e falhas aritméticas ficaram em 20%.

Há ainda um detalhe que dilui os números. Cerca de 31% das soluções aprovadas corrigiram problemas não relacionados, como ponteiro nulo superficial.

O que fazer com esses dados no seu fluxo

Primeiro, trate patch gerado como hipótese. A taxa de remediação parcial mostra que a revisão humana segue essencial.

Segundo, teste regressão sempre. Quarenta por cento de quebra entre os melhores modelos justifica suíte completa antes do merge.

Terceiro, combine ferramentas. Análise estática continua pegando o que o agente deixa passar em cadeias longas.

Além disso, planeje o tempo de execução. Tarefas que estouram 90 minutos exigem decisão sobre custo e limite.

Por fim, considere a recusa no seu desenho. Fluxos de segurança podem travar em modelos de fronteira, e o roteamento precisa prever isso.

A aliança pretende expandir as avaliações. Software compilado, alvos de rede em tempo real e fluxos de resposta a incidentes entram nos planos.

Acompanhe nosso perfil no Instagram!