Agentes de IA refatoram 300 mil linhas em três semanas, mas divide especialistas sobre o que isso prova

Um jogo de luta como banco de provas

A CodeScene publicou um case study no qual agentes de IA↳Agentes de IA42 conteúdosOpera passa a integrar ChatGPT, Claude e outros agentes de IADev (Back & Front) · mar 2026Operações mais inteligentes, decisões mais rápidas: o impacto da IA agêntica na rotina de TIAI · abr 2026Adobe aposta em orquestração de agentes de IA: o que muda para devsDev (Back & Front) · abr 2026Ver tudo em AI → refatoraram uma base de código em C de 300 mil linhas ao longo de três semanas, com custo de tokens de aproximadamente US$ 4 mil, segundo o relato da InfoQ. A base escolhida foi a decompilação open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → de Street Fighter III: 3rd Strike.

Os números medidos: 2.903 commits, 726 arquivos alterados, 252.055 linhas modificadas. O Code Health, métrica proprietária da CodeScene, subiu de 5.6 para 10.0. Adam Tornhill, fundador da empresa e autor de "Your Code as a Crime Scene", descreveu o resultado como a primeira vez, em três décadas trabalhando com sistemas grandes, que viu o que chamou de desempenho sobre-humano de agentes em escala.

Para quem refatora sistema legado no dia a dia, o dado relevante não é "agente refatora rápido": isso já era esperado. É a escala. 300 mil linhas é da ordem de grandeza de um monolito real, não de um exemplo de workshop.

Os dois mecanismos por trás do resultado

Dois componentes sustentaram o trabalho, segundo o relato:

• Um sinal de qualidade determinístico: o CodeHealth MCP Server, que dá aos agentes uma pontuação objetiva para otimizar e julgar se uma transformação ajudou ou piorou o código.
• Um harness de correção: um sistema de replay-trace que compara hash de estado de rollback quadro a quadro, verificando se o comportamento do jogo mudou depois de cada alteração.

Sem o segundo item, o primeiro seria perigoso: um agente pode subir o Code Health e quebrar o comportamento ao mesmo tempo. É a combinação dos dois que permitiu confiar no processo sem revisão linha a linha de cada um dos 726 arquivos.

As receitas que a IA descobriu sozinha

O resultado mais incomum não foi a nota final, mas o processo de descoberta. Em vez de aplicar um catálogo fixo de refatorações, os agentes acumularam um playbook próprio ao longo do projeto, terminando com 22 receitas e 82 notas de apoio.

Algumas são clássicas de qualquer manual (Extract Function, Guard Clauses). Outras nasceram de padrões específicos do código de um jogo de luta dos anos 1990:

• Shared Index Range: captura loops repetidos que diferem só no início e fim do intervalo.
• Action Parameter: trata estruturas de controle duplicadas que diferem principalmente em qual função invocam.
• Uniform Step Table: converte chamadas heterogêneas em despacho controlado por tabela.

Tentativas fracassadas também foram registradas, incluindo transformações que pioraram o Code Health. Esse detalhe importa: o playbook não é uma lista de vitórias, é um log de tentativa e erro que o time manteve.

O modelo escolhido fez diferença mensurável

O time optou por Claude Opus para o grosso do trabalho. Segundo o relato, Claude Code com Opus foi significativamente melhor que Codex com Sol em capturar e documentar os padrões emergentes. Arquivos frequentemente estagnavam quando modelos menores rodavam a tarefa, como se atingissem um ótimo local do qual não conseguiam sair.

Para quem escolhe modelo em pipeline de refatoração agêntica hoje, isso sugere que a economia de usar um modelo mais barato pode custar caro em qualidade de resultado, não só em velocidade.

A rachadura entre praticantes

A reação no LinkedIn, segundo o relato da InfoQ, dividiu-se não sobre se o resultado aconteceu, mas sobre o que ele prova.

Acho que o verdadeiro teste da capacidade da IA aqui seria oferecer essa cortesia de refatoração para algum projeto open source famoso, tipo o Grafana. A definição de pronto é, obviamente, ser integrado na master.

I think the real true test of AI capability here would be to offer this courtesy of refactoring to some famous open source project, say Grafana. The definition of done is ofc merging it to master.Konrad Otrębski, tech lead e consultor

Daniel Webb, CTO da NeoSee e um dos dois engenheiros que fizeram o trabalho, respondeu a Otrębski confirmando que o resultado foi integrado à branch principal de um fork, por meio de 54 pull requests, e não como um merge único.

A maioria das alegações de refatoração que eu já li se apoia numa suíte de testes verde, o que só diz que os testes sobreviveram. Repetir traces contra um jogo de luta estabelece uma régua bem mais alta.

most refactor claims i've read rest on a green test suite, which only tells you the tests survived. replaying traces against a fighting game sets a much higher bar.Paolo Perrone

O ponto cego: sem oracle, sem harness

O argumento mais incômodo para quem trabalha com legado não veio de um crítico, mas do próprio caso. O replay-trace funcionou porque um jogo decompilado permite comparação determinística quadro a quadro. A maioria dos sistemas legados não tem equivalente: nenhum oracle↳Oracle22 conteúdosOracle lança Java 26 para aumentar produtividade de desenvolvedoresDev (Back & Front) · mar 2026Oracle oferece o primeiro cluster de computação em nuvem em escala ZettaDevSecOps · jan 2025Oracle abre inscrições para o ONE, programa gratuito de formação em tecnologia e inteligência artificialData · dez 2024Ver tudo em Data → capaz de dizer, com a mesma precisão, se o comportamento mudou depois de uma refatoração.

É o mesmo motivo pelo qual refatorar esses sistemas é arriscado. Tornhill reconhece isso ao escrever que testes automatizados e checagens de equivalência são salvaguardas absolutamente essenciais, o que joga o peso de volta exatamente sobre o que bases de código não saudáveis costumam não ter.

O próprio processo de seleção do time ilustra o ponto. Webb contou que consideraram uma base de código de licenciamento marítimo do governo britânico (Gov.UK) na qual havia trabalhado antes, mas ela era saudável demais para servir de material de pesquisa, e optaram pelo jogo em parte porque jogam e são, portanto, usuários dele.

Perguntas que os próprios autores deixaram em aberto

Marc Bouvier perguntou se o comportamento não-funcional havia melhorado, já que framerate, uso de memória e latência de input importam num jogo. Webb respondeu que um especialista em performance está sendo trazido para avaliar isso, ou seja, ainda não há resposta.

Sobre se o harness capturava regressões sutis de timing de quadro, Webb foi direto ao dizer que talvez não haja resposta definitiva, porque o harness rodava como um pre-commit hook e algumas falhas foram corrigidas sem sequer serem observadas pela equipe.

Se você não conhece o código e não revisa mais cada linha, o quão grande pode ser um diff?

if you are not familiar with the code and no longer review every line, how big can a diff be?Daniel Webb, CTO da NeoSee

Webb não afirmou nada sobre o tamanho ideal de diff nessa cena; só deixou a pergunta em aberto, o que é revelador: mesmo quem fez o trabalho reconhece que revisão linha a linha deixou de ser prática nesse volume.

Para onde vai essa pesquisa

O resultado de três semanas produziu duas versões funcionalmente equivalentes do mesmo sistema: uma com Code Health 5.6, outra com 10.0. É material de base para um estudo com a Lund University, no qual estudantes vão implementar features nas duas versões usando modelos de fronteira, comparando custo e qualidade.

Dois números que circularam junto com o case pertencem a esse trabalho futuro, não ao experimento em si: a CodeScene projeta redução de aproximadamente 70% em defeitos induzidos por IA e cerca de 45% menos desperdício de tokens a partir da versão mais saudável, ambos extrapolados de pesquisa anterior da empresa, não medidos neste case. O que foi de fato medido foram os US$ 4 mil e as três semanas.

O que muda para quem refatora código de verdade

Antes de replicar a ideia num sistema de produção, valem três leituras práticas do caso:

• O harness importa mais que o modelo. Sem um oracle de comportamento (testes, replay, checagem de equivalência), soltar agentes numa refatoração em escala é apostar contra o próprio Code Health que eles otimizam.
• Modelo pequeno estagna. O relato indica que modelos menores empacavam em ótimos locais; se o objetivo é escala real, a economia de token pode não compensar.
• "Merged" precisa de contexto. O trabalho foi integrado a um fork por 54 pull requests, não a um projeto open source de terceiros em produção. A régua que Otrębski propôs, refatorar algo como o Grafana e mergear na master oficial, ainda não foi cumprida por ninguém publicamente.

Fonte: InfoQ