A Microsoft colocou dois modelos da Anthropic frente a frente. A empresa testou o Claude Sonnet 4.6 e o Claude Sonnet 5 em agentes de IA. Esses agentes rodaram no GitHub Copilot Chat, dentro do Visual Studio Code no Windows. À primeira vista, o modelo mais novo parece mais barato. Contudo, os números reais revelam outra história.

Neste artigo, você entende onde os custos disparam. Além disso, descobre quando o modelo mais novo compensa de verdade.

Quando o preço menor esconde uma conta maior

A tabela de preços favorece o Sonnet 5. De fato, o modelo mais novo traz uma queda de 33% em todas as categorias de token. Por exemplo, o token de entrada caiu de US$ 3 para US$ 2 por milhão. O token de saída, por sua vez, caiu de US$ 15 para US$ 10.

No entanto, o faturamento não depende só da tabela. Na prática, ele depende do consumo ativo de tokens. E é justamente aí que o Sonnet 5 surpreende. Afinal, o modelo mais novo consome um volume muito maior de tokens para cumprir a mesma tarefa.

150 tarefas, 15 cenários e uma variação que assusta

A avaliação seguiu um método rigoroso. Primeiro, os engenheiros definiram 150 tarefas de agente. Depois, dividiram tudo em 15 cenários técnicos. Em seguida, rodaram cinco execuções por modelo em cada cenário.

Cada execução recebeu uma nota objetiva. Assim, um juiz de LLM calibrado avaliou critérios binários e dimensões de qualidade. Os custos, por fim, saíram de dados reais de token por turno.

Arquitetura no Microsoft Azure: onde o Sonnet 5 consumiu 12 vezes mais

Aqui o cenário fica interessante. Os engenheiros testaram o design de arquitetura no Azure. Nessas tarefas, o Sonnet 5 consumiu 12 vezes mais tokens na mediana. Inclusive, uma única execução chegou a consumir 47 vezes o volume da linha de base.

Mesmo assim, o custo caiu em alguns casos. Ou seja, o modelo mais novo custou US$ 0,47 por execução, contra US$ 0,54 do anterior. Portanto, o desconto de 33% na taxa gerou uma economia de 12% nesse contexto.

Contudo, existe um problema sério para quem planeja orçamento. O Sonnet 4.6 manteve um consumo previsível. Na maioria das execuções, ele usou entre 14 mil e 45 mil tokens. Já o Sonnet 5 mostrou uma variação extrema e irregular.

Qualidade do código: o modelo mais novo tropeçou no idiomático

Custo baixo perde valor quando a qualidade cai. E foi exatamente isso que aconteceu. Nos nove cenários com saída utilizável, o Sonnet 4.6 marcou 90% na dimensão idiomática. Essa métrica mede se o código segue padrões e convenções do mercado. O Sonnet 5, em contrapartida, marcou apenas 78%.

Um exemplo deixa o contraste claro. Numa arquitetura de analytics para IoT, o Sonnet 4.6 passou no teste idiomático em quatro de cinco execuções. O Sonnet 5, com o mesmo prompt, passou só uma vez. Além disso, esse cenário registrou um caso curioso. Uma execução usou 16 mil tokens. Outra, no mesmo prompt, queimou 6,6 milhões.

Microsoft: Migração de código: aqui o jogo virou

Agora a história muda de forma radical. A Microsoft testou três cenários de upgrade no SharePoint Framework. Nessas tarefas, o Sonnet 5 passou no primeiro portão em 100% das execuções. O Sonnet 4.6, por outro lado, ficou em 60%.

O upgrade da versão 1.21.1 para a 1.22.0 mostrou algo importante. O Sonnet 4.6 falhou nas cinco tentativas. Aliás, ele ignorou a instrução e adotou a versão 1.22.1 por conta própria. O Sonnet 5, ao contrário, seguiu a instrução em todas as execuções.

Essa obediência, porém, cobrou seu preço. Nesses upgrades, o Sonnet 5 custou US$ 2,01 por execução. Ou seja, ficou 3,7 vezes mais caro que os US$ 0,55 do Sonnet 4.6. Em um caso extremo, uma execução consumiu impressionantes 69 milhões de tokens. Isso aconteceu porque o agente fez buscas extensas na web para achar passos não documentados.

O problema que nenhum modelo resolveu

Existe um limite que a versão do modelo não supera. A correção de configuração ficou em zero por cento em todos os cenários do SharePoint Framework. Portanto, nenhum dos dois modelos venceu as migrações estruturais.

O motivo é simples. Muitas dessas migrações exigem passos que a documentação oficial raramente cobre. A equipe da Microsoft, por exemplo, identificou sete mudanças de configuração ausentes. Assim, quando o conteúdo base tem lacunas, a escolha do modelo perde relevância.

O que o dev leva desse teste da Microsoft para o dia a dia

A lição central é clara. A tabela de preços conta apenas parte da história. Na prática, o consumo de tokens define a conta final.

Então, vale a pena testar o modelo no seu contexto real antes de migrar. Para tarefas de arquitetura, o Sonnet 4.6 entrega qualidade e previsibilidade. Já para migração de código com instruções rígidas, o Sonnet 5 mostra mais disciplina.

No fim, a escolha depende da sua carga de trabalho. E, sobretudo, do orçamento que você consegue prever.

Acompanhe nosso perfil no Instagram!