Dados de 40 trilhões de tokens mostram por que times travam ao adotar agentes de IA

Em apresentação no QCon AI, Brendan O'Leary, Founding Developer Relations Engineer da Kilo Code, trouxe um recorte raro: dados reais de uso de agentes de IA↳Agentes de IA42 conteúdosOpera passa a integrar ChatGPT, Claude e outros agentes de IADev (Back & Front) · mar 2026Operações mais inteligentes, decisões mais rápidas: o impacto da IA agêntica na rotina de TIAI · abr 2026Adobe aposta em orquestração de agentes de IA: o que muda para devsDev (Back & Front) · abr 2026Ver tudo em AI → em código, não benchmarks de laboratório. O título original da talk prometia 25 trilhões de tokens analisados; no dia da apresentação, o volume já tinha passado de 40 trilhões, o que o próprio O'Leary cita como sinal de quão rápido a adoção de IA em codificação está acelerando.

O que é a Kilo Code e de onde vêm os dados

Kilo Code é uma ferramenta agêntica de código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) →, comparável a Claude Code, Codex ou Cursor, mas com o código disponível publicamente. Ela roda como extensão de CLI, como extensão de VS Code e JetBrains, e também oferece agentes em nuvem. Por ser open source, o usuário pode usar qualquer provedor de inferência que quiser, mas a ferramenta também oferece um gateway próprio com acesso a mais de 500 modelos diferentes, incluindo os modelos de ponta da OpenAI e da Anthropic e modelos abertos via OpenRouter. Segundo O'Leary, a Kilo Code liderou por meses os rankings de consumo de tokens publicados pelo OpenRouter.

Os dados vêm desse gateway, com uma metodologia específica: usuários anônimos e internos da empresa foram excluídos, assim como o sistema de autocomplete (que tem um padrão de uso diferente do resto) e qualquer tráfego identificado como automatizado. A análise de escolha de modelo considera apenas o que o desenvolvedor selecionou manualmente na interface, não o roteamento interno da infraestrutura.

O próprio O'Leary faz uma ressalva importante sobre o viés da amostra: a base de usuários da Kilo Code é majoritariamente formada por early adopters que buscaram ativamente uma ferramenta open source e configurável, o que já diz algo sobre a relação deles com experimentação. Ele dá um exemplo hipotético para ilustrar o ponto: se em algum momento da talk aparecer algo como "68% dos desenvolvedores fazem X", o número precisa vir mentalmente com um asterisco, porque reflete esse recorte, não a média do mercado.

A escada de confiança dos agentes

O núcleo da apresentação é o que O'Leary chama de escada de adoção de IA, com quatro degraus. Cada degrau exige um salto de confiança maior que o anterior, porque o ciclo de feedback fica mais longo e o custo de um erro fica mais alto.

No primeiro degrau está o autocomplete clássico, aceito com Tab: o custo de errar é quase nulo, porque o desenvolvedor vê e decide na hora. No segundo, o modelo de chat da era inicial do Copilot (2022-2023), em que se pede um bloco de código ou explicação e revisa manualmente antes de colar.

No terceiro, o agente já lê e escreve arquivos, roda comandos e age autenticado no ambiente do desenvolvedor, o que O'Leary descreve como um salto grande de confiança. No topo, times orquestram vários agentes especializados que dividem uma tarefa em subtarefas e voltam com algo coeso, com o maior risco porque um erro pode não aparecer por horas.

Segundo O'Leary, a maioria dos times hoje está presa entre o degrau 1 e 2, ou entre o 2 e o 3, enquanto a diferença entre os patamares cresce conforme se sobe a escada. Ele cita um estudo da Gartner sobre a alta taxa de projetos de IA que falham antes de chegar à produção, atribuindo isso a lacunas de governança: times pularam etapas da escada sem construir a confiança necessária nos degraus de baixo.

Eu não acho que essa diferença seja aleatória. Acho que tem muito a ver com confiança.

I don't think that gap is random. I think it really is a lot about trust.Brendan O'Leary, Founding Developer Relations Engineer na Kilo Code

O primeiro ponto de falha: construção de contexto

A apresentação identifica três pontos técnicos onde a adoção costuma travar: construção de contexto, roteamento entre modelos e loops de feedback. O material disponível detalha o primeiro em profundidade.

Construção de contexto é tudo que acontece antes de a requisição chegar ao modelo: quais arquivos entram, se o código-base foi indexado, se há raciocínio semântico sobre as relações entre partes do projeto, e se o problema foi bem descrito para o modelo. Quando o autocomplete sugere algo sem sentido para a estrutura do projeto, segundo O'Leary, raramente é o modelo que é ruim, é o contexto que chegou errado.

O exemplo que ele dá é direto: se o desenvolvedor pergunta "onde fica a lógica de autenticação deste projeto?" e o agente começa a seguir o caminho errado, essa falha de recuperação contamina o resto da conversa. O modelo passa a trabalhar com um contexto incompleto e começa a arriscar suposições. Quando esse mesmo contexto quebrado alimenta um agente autônomo ou uma orquestração de vários agentes, o erro só se multiplica, porque fica mais difícil voltar atrás e extrair código que funcione de verdade.

Há um sinal indireto disso nos próprios dados de uso: desenvolvedores que ainda estão presos no degrau de chat pesado, sem ter migrado para agentes, consomem um número de tokens por requisição visivelmente maior. Para O'Leary, isso indica que, quando a construção automática de contexto não funciona, o desenvolvedor tenta compensar colando manualmente trechos de código, uma solução que funciona até certo ponto, mas que não escala quando a tarefa cresce.

O que ainda fica em aberto

O roteamento entre modelos (qual modelo usar para qual tipo de tarefa) e os loops de feedback (como e quando o sistema avisa que algo deu errado, principalmente nos degraus mais altos da escada, onde o sinal chega mais tarde e mais esparso) são citados como o segundo e o terceiro ponto de falha, mas o detalhamento de cada um fica para o restante da apresentação, disponível na íntegra no InfoQ.

O que isso muda pra quem constrói agentes de IA

Para quem está avaliando ou já opera ferramentas agênticas de código no dia a dia, o recorte de O'Leary sugere um caminho prático antes de prometer swarms de agentes autônomos para a liderança: validar primeiro se o autocomplete e o chat já geram confiança consistente na equipe, porque pular direto para orquestração multiagente sem essa base tende a reproduzir os mesmos governance gaps que a Gartner associa a projetos de IA que não saem do papel.

O dado sobre consumo de tokens por requisição também é um proxy simples e barato de monitorar: se uma equipe está gastando muito mais tokens por chat do que o esperado, é um indício de que a indexação do código-base ou a seleção automática de arquivos de contexto não está funcionando, e que as pessoas estão compensando manualmente. Isso vale tanto para quem usa ferramentas comerciais fechadas quanto para quem, como a própria Kilo Code, escolhe trazer a própria inferência via gateway aberto, uma opção que tende a interessar times no Brasil mais sensíveis a custo de API em dólar.

Fonte: InfoQ