CodeRabbit diz multiplicar entregas por 20 vezes revisando código de agentes com modelos da OpenAI

Quanto mais um time terceiriza a escrita de código para agentes, mais ele precisa de alguém (ou algo) para checar o que foi escrito. Esse é o argumento central de um relato publicado pela OpenAI sobre a CodeRabbit, plataforma de revisão de código usada, segundo a empresa, por mais de 20 mil organizações e 150 mil projetos open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) →.

O caso vale a leitura não pelo número de clientes, mas pelo que ele expõe: a revisão de código virou o próximo gargalo da era dos agentes, e resolver isso também com agentes traz ganhos de velocidade reais, só que com um custo de reengenharia que a maioria dos times ainda não mediu.

O primeiro gargalo que toda empresa encontra assim que adota agentes de codificação é a revisão de código.

Harjot Gill, cofundador e CEO, CodeRabbitThe first bottleneck that every company hits as soon as you adopt coding agents is code reviews.

O que a CodeRabbit faz, na prática

A CodeRabbit não escreve código: ela audita o que outros agentes (ou humanos) escreveram, atribuindo risco, explicando mudanças e decidindo o que pode subir para produção sem revisão humana. Funciona como uma camada de governança que roda antes do merge, em paralelo ao trabalho dos times. Para quem já usa Copilot, Cursor ou agentes próprios em pipelines de CI, essa é exatamente a peça que falta: alguém (ou algo) que valide em escala o que os agentes produzem em escala.

Segundo Harjot Gill, cofundador e CEO da empresa, o produto nasceu com GPT-3.5 Turbo e só ficou útil de verdade com a chegada do GPT-4. De lá para cá a CodeRabbit adotou cedo os modelos de raciocínio o1 e o3 da OpenAI, aproveitando que revisão de código roda de forma assíncrona na nuvem: dá para esperar um modelo pensar mais tempo em troca de uma análise mais profunda, algo que não seria tolerável num chat interativo.

Um benchmark próprio, não auditado por terceiros

A empresa mantém um benchmark interno de bugs conhecidos para avaliar cada novo modelo. Na entrevista à OpenAI, Gill estimou que o GPT-6 Astra captura 50% dos problemas desse conjunto de dados, à frente de outros modelos testados no mesmo benchmark.

Vale o contraponto: é um número divulgado pela própria empresa, sobre um dataset próprio, sem metodologia aberta nem comparação independente. Isso não invalida o dado, mas limita quanto ele serve como benchmark de mercado. O interessante é o processo descrito por Gill: o benchmark é vivo, porque a natureza dos bugs muda conforme os próprios agentes evoluem e cometem erros diferentes.

A natureza dos bugs continua evoluindo, então nosso benchmark também evolui conforme os modelos melhoram.

Harjot Gill, cofundador e CEO, CodeRabbitThe nature of bugs keeps evolving, so does our benchmark as the models get better.

Mais barato por token, mais agentes por revisão

O ganho de capacidade não veio só de modelos melhores, mas de modelos mais baratos para rodar em escala. A CodeRabbit começou usando um ou dois subagentes para navegação de código; hoje, segundo Gill, modelos de custo mais baixo como o GPT-6 Luna sustentam dezenas de subagentes espalhados pela plataforma, enquanto modelos maiores como o GPT-6 Astra ficam responsáveis por planejamento e orquestração.

Essa divisão de trabalho entre modelo barato para tarefa repetitiva e modelo caro para decisão complexa é o mesmo padrão que times brasileiros já aplicam com roteamento entre GPT-4o mini e modelos maiores, ou entre modelos locais e APIs pagas. A diferença é a escala: Gill diz que isso liberou casos de uso que a empresa simplesmente não conseguia bancar antes, ampliando tanto a validação quanto as explicações que o sistema devolve ao desenvolvedor sobre uma mudança que ele não escreveu.

A conta do "20 vezes mais software"

O número que dá nome ao relato da OpenAI é este: segundo Gill, a CodeRabbit passou a entregar cerca de 20 vezes mais software nos últimos seis meses usando o Codex, sem contratar mais engenheiros. Ele estima ter enviado entre 2.500 e 3.000 pull requests pessoais nos 30 dias anteriores à entrevista.

O ponto que merece atenção, mais do que o número em si (estimativa pessoal, não auditada), é o que foi preciso mudar para sustentá-lo:

• repensar onde a aprovação humana realmente agrega valor no fluxo, em vez de manter revisão manual em tudo;
• deixar a própria CodeRabbit aprovar e subir automaticamente mudanças classificadas como baixo risco;
• resolver gargalos de infraestrutura que apareceram ao rodar múltiplos agentes em paralelo, de memória de máquina local a dependências e empacotamento.

Tivemos que repensar completamente todo o processo de entrega de software.

Harjot Gill, cofundador e CEO, CodeRabbitWe had to actually completely rethink the entire software delivery.

A empresa também construiu um bot de Slack baseado em Codex que triagem incidentes de produção, mensagens e tickets de suporte, devolvendo um pull request pronto para o time revisar e mesclar. É um padrão que vale observar: o agente não decide sozinho o que vai para produção, mas reduz a distância entre identificar um problema e ter uma correção candidata.

Segurança: usar o próprio ataque como produto

Desde 2023 a CodeRabbit roda agentes em sandbox clonando repositórios para revisão. Mais recentemente, a empresa usou o modelo de segurança da OpenAI, chamado Cyber, via uma camada chamada Daybreak, para fazer pentest interno na própria plataforma. Segundo Gill, o exercício revelou falhas que o time não imaginava existir.

Encontramos várias vulnerabilidades, hacks avançados que nem imaginávamos que pudessem acontecer.

Harjot Gill, cofundador e CEO, CodeRabbitWe found multiple vulnerabilities, advanced hacks that we could not even imagine could happen.

Esse trabalho virou produto: o CodeRabbit Secure usa Daybreak com modelos Codex para encontrar e corrigir vulnerabilidades no código dos clientes. Em uma promoção de duas semanas em que a empresa bancou US$ 1 milhão em varreduras profundas gratuitas, a CodeRabbit diz ter encontrado mais de 43 mil vulnerabilidades em 13 mil varreduras, e afirma que milhares delas já foram corrigidas pelos próprios clientes. É um número alto o suficiente para indicar que o problema é real e sistêmico, não um exagero de marketing isolado, mesmo sem auditoria externa dos dados.

Rodar a empresa inteira como código

Um desdobramento menos óbvio do relato é o uso do Codex fora da engenharia. A CodeRabbit gerencia campanhas do Google Ads por pull request: abre e mescla uma requisição para publicar anúncios. Também mantém um repositório de "content studio" onde o Codex gera apresentações e documentos para clientes.

Se você conseguir traduzir seus problemas de marketing em problemas de código, você vai rodar 10 vezes mais rápido.

Harjot Gill, cofundador e CEO, CodeRabbitIf you can translate your marketing problems to code problems, you will run 10x faster.

É uma ideia que extrapola bem o contexto de devtools: qualquer fluxo que possa virar diff revisável (configuração, conteúdo, até decisões operacionais) ganha o mesmo tipo de trilha de auditoria e rollback que já existe para código.

O que fica em aberto

O relato vem direto da OpenAI, com números fornecidos pela própria CodeRabbit sem validação independente, e serve antes de tudo como estudo de caso de cliente satisfeito. Não há dados sobre falsos positivos da revisão automatizada, sobre quanto tempo humano ainda é gasto corrigindo decisões erradas do agente revisor, nem sobre o custo total de rodar dezenas de subagentes por pull request.

Para quem avalia adotar uma camada assim no próprio pipeline, a pergunta prática não é se agentes revisando agentes funciona (o volume de clientes sugere que sim, até certo ponto), mas qual fatia de decisão sua equipe está disposta a devolver para um sistema automatizado, e com qual trilha de auditoria por trás disso.

Fonte: OpenAI News