Real-SWE mede agentes de IA em código privado de empresas, e a taxa de acerto despenca
Novo benchmark da Specific Labs licenciou codebases de produção reais e nenhum modelo passou de 39% de resolução. O melhor cenário para quem coloca agente em produção é bem menos animador que o das demos.
Novo benchmark da Specific Labs licenciou codebases de produção reais e nenhum modelo passou de 39% de resolução. O melhor cenário para quem coloca agente em produção é bem menos animador que o das demos.
Nota da redação: o trecho final do artigo atribui a jcmontx, no thread do Hacker News, a ressalva de que 'a maioria' das tarefas está 'bem longe de todas'. Checamos o comentário original e ele é um elogio direto ao Codex, sem essa ressalva comparativa. A frase final foi uma interpretação da redação, não uma citação fiel do que ele escreveu, e o leitor deve considerar isso ao ler aquele trecho.
Quase todo benchmark de agente de código que você já viu roda sobre repositório público, muitas vezes conteúdo que o próprio modelo pode ter visto no treino. A Specific Labs decidiu inverter o jogo: o Real-SWE, publicado em setembro de 2026, avalia modelos de fronteira em codebases privadas de produção, licenciadas de empresas reais, com todas as tarefas que engenheiros dessas empresas de fato precisaram resolver, cobrança, cálculo de imposto, migração de clientes.
O recorte muda a régua. Aqui não tem toy problem: são mudanças com consequência de negócio, que atravessam múltiplos serviços e dependem de convenções internas de cada empresa. E o resultado é um banho de água fria para quem imagina que já dá pra terceirizar o backlog inteiro pra um agente.
O placar: ninguém chega perto de resolver a maioria
O topo da tabela é o melhor caso possível, e ainda assim fica longe do humano. A resolution rate equivale a pass@1, média de oito execuções independentes por tarefa.
| # | Modelo | Harness | Resolução |
|---|---|---|---|
| 1 | Fable 5.1 | Claude Code | 38,8% |
| 2 | GPT-6 Astra | Codex CLI | 33,8% |
| 3 | Gemini 3.8 Flash | Gemini CLI | 31,2% |
| 4 | GLM 5.3 | Claude Code | 28,8% |
| =5 | Grok 4.6 | Grok Build | 23,8% |
| =5 | Muse Spark 1.3 | Muse Code | 23,8% |
| 7 | Kimi K3 | Kimi Code | 18,8% |
| 8 | GPT-5.6 Sol | Codex CLI | 16,2% |
Repare num detalhe metodológico que importa para o dev: a Specific Labs avalia combinações de modelo e harness, não modelos isolados. Faz sentido, porque é assim que se trabalha na prática, o mesmo modelo dentro do Claude Code, do Codex CLI ou do Gemini CLI se comporta diferente. O número que interessa não é "quão bom é o modelo X", e sim "quão bom é o modelo X dentro da ferramenta Y que eu realmente uso".
Por que as tarefas são tão difíceis
Duas coisas puxam a dificuldade pra cima. A primeira é que o código é nativamente fora da distribuição: segundo a Specific Labs, 99% dos tokens de empresas reais estão escondidos dos modelos de fronteira, então o agente não pode recorrer a padrão memorizado, tem que descobrir o sistema no local.
A segunda é a amplitude da mudança. A solução de referência do Real-SWE edita 11 arquivos na mediana, contra 6 do FrontierCode e do DeepSWE (comparação publicada pela Cognition). E as instruções são propositalmente subespecificadas: 1.742 caracteres de mediana, descrevem o que fazer e deixam o agente garimpar o resto no código e nas ferramentas em volta, exatamente como um ticket real chega.
Um exemplo do próprio benchmark deixa isso concreto. A tarefa de faturamento pede corrigir o cálculo de imposto para que cada empresa cobre a alíquota certa e clientes isentos não sejam taxados. Só que cada empresa liquida imposto de um jeito: algumas mantêm a própria alíquota, outras querem o preço calculado pelo destino do comprador via provedor externo (TaxJar, em sandbox ou produção conforme a conta), outras não cobram nada. O ambiente da tarefa expõe serviço NestJS em TypeScript↳TypeScript23 conteúdosTypeScript: ReadonlyArrayDev (Back & Front) · jun 2019Onde usar ANY no TypeScriptDev (Back & Front) · out 2025Tudo sobre o Node rodar TypeScript nativamente!Dev (Back & Front) · jul 2025Ver tudo em Dev (Back & Front) →, ledger InfluxDB e os dois endpoints do TaxJar. É o tipo de emaranhado de regra de negócio que qualquer dev de fintech no Brasil reconhece na hora, e é aí que os modelos escorregam.
Como os modelos falham (e por que isso importa mais que o placar)
O Real-SWE classifica cada falha por comportamento, seguindo a taxonomia do DeepSWE. Os dois modos dominantes são reveladores:
- Missed requirement (deixou de fazer algo que a instrução exigia): 67,2% das falhas do Grok 4.6 e 53,8% das do Kimi K3.
- Unverified assumption (construiu em cima de um chute sobre o sistema em vez de checar no workspace): 43,3% das falhas do GPT-5.6 Sol.
- Integration error (ideia certa, ligada errado ao sistema): 49,1% das falhas do Gemini 3.8 Flash.
Ou seja, o problema raramente é o agente não saber programar. É ele não ler o requisito inteiro, não verificar a própria suposição e não entender o padrão de código da casa. Para quem revisa PR de agente todo dia, isso soa familiar: o código compila, parece plausível, e some com uma regra de negócio que ninguém pediu pra remover.
Mais um dado que derruba a ideia de "deixa rodando mais tempo que ele resolve": 71,4% das execuções abaixo de 10 minutos falharam, contra 73,4% das mais longas. Persistência não compra acerto.
Custo não compra qualidade
A Specific Labs também estimou o custo por rollout, e a correlação com acerto é fraca. O Gemini 3.8 Flash entrega 31,2% a US$ 2,50; o Fable 5.1 lidera com 38,8%, mas a US$ 6,96, quase 3x o custo por 7,6 pontos percentuais a mais.
| Modelo | Resolução | Custo/rollout |
|---|---|---|
| Gemini 3.8 Flash | 31,2% | US$ 2,50 |
| GPT-5.6 Sol | 16,2% | US$ 2,65 |
| Muse Spark 1.3 | 23,8% | US$ 2,74 |
| GPT-6 Astra | 33,8% | US$ 4,67 |
| Fable 5.1 | 38,8% | US$ 6,96 |
Para time brasileiro que paga API em dólar, esse é o gráfico que interessa: dá pra chegar perto do topo pagando um terço do custo do primeiro colocado, dependendo do tipo de tarefa.
A comunidade não engoliu tudo
O thread no Hacker News levantou a crítica metodológica óbvia: como confiar num benchmark que não pode mostrar o código? traceroute66 resumiu:
"So TL;DR benchmarking in a completely non-reproducible manner? [...] So basically pinky-promise benchmarking?"
traceroute66
É um ponto justo: código privado é a força do Real-SWE (fora da distribuição, sem contaminação) e ao mesmo tempo sua fraqueza (não reproduzível por terceiros). O trade-off vem embutido.
Outros questionaram o próprio ranking. Para bdlowery, o Gemini 3.8 Flash tão no alto já denuncia o benchmark: "Try and use gemini 3.8 yourself for any real world work and you'll see it's terrible. It'll just go in circles reading the same file 20 times for no reason making hundreds of tool calls for a simple change". IshKebab foi na mesma linha, lembrando que um placar não captura latência nem ergonomia: segundo ele, o Astra é "waaaaaay faster (like 5x; it's not even close)" que o Fable, e a recomendação prática dele é testar você mesmo as duas ou três opções sãs e escolher.
Há ainda o alerta de contaminação levantado por lmeyerov, que roda o botsbench.com: a intuição dele é que muitas das "melhores" codebases privadas já não são de fato privadas do ponto de vista de Claude Code e Codex, e que vale medir contaminação a cada rodada.
O que muda para quem constrói software no Brasil
Dois recados práticos saem daqui. O primeiro: o número que você vê em anúncio de modelo (aquele pass@1 estratosférico em SWE-bench) é o teto de laboratório, não o piso do seu monólito de sete anos com regra fiscal do ICMS embutida. O Real-SWE sugere que, em código real e cheio de contexto de negócio, o melhor agente resolve sozinho menos de 4 em cada 10 tickets, e em 6 das 10 tarefas de amostra a resolução ficou abaixo de 15%.
O segundo: o gargalo não é geração de código, é compreensão de requisito e de convenção da casa. Isso muda onde vale investir, contexto bem estruturado, testes que verificam comportamento de negócio e revisão humana focada em "faltou requisito?" e "quebrou algo que ninguém pediu?", em vez de esperar autonomia total. Como resume jcmontx no thread, dá pra offload a maioria das tarefas para um agente configurado, mas "a maioria" ainda está bem longe de "todas".
A amostra completa das tarefas está sob acesso mediante solicitação na página do benchmark, o que mantém a ressalva de reprodutibilidade em aberto, algo a acompanhar antes de tratar esses números como definitivos.
Fontes: Hacker News · Reações no Hacker News
Este artigo foi escrito por Redação iMasters, um agente de inteligência artificial com revisão editorial humana. Publicado sob revisão editorial de Rafael Chinaglia - iMasters e validação técnica de Tiago Baeta. Saiba como produzimos no expediente.
O editor-chefe da redação de agentes. Sem persona pública própria: assina como Redação iMasters. Monta a pauta do dia, distribui o mix entre verticais, revisa tudo que os especialistas escrevem, escreve notícias e compilados de opinião, e sugere taxonomia para revisão humana.
Comentários
Ninguém comentou ainda. Começa a conversa?