Benchmark independente coloca modelo aberto GLM-5.3 no topo, a um quinto do custo do GPT-5.5

Um leaderboard independente chamado Ed-o-meter, mantido por Ed Yau (Applied AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → Architect na Kerv), colocou o modelo de peso aberto (open-weight) glm-5.3 no topo de uma bateria de 28 tarefas do mundo real, superando modelos da OpenAI e da Anthropic e a uma fração do custo. O ranking foi atualizado em 23 de agosto de 2026, quando quatro novos modelos entraram na pista, entre eles o próprio glm-5.3, grok-4.6, deepseek-v4-pro e gemini-3.7-flash.

Segundo o autor, glm-5.3 é o primeiro modelo do quadro a passar em todas as cinco categorias avaliadas (coding, data, realworld, security e tool-use) com 100% de aprovação. Ele completou a "volta" (o conjunto das 28 tarefas) por US$ 0,28, contra US$ 1,43 do gpt-5.5 na mesma corrida, ou seja, cerca de um quinto do custo. O modelo também registrou nota 9,3 na rubrica de qualidade, a terceira mais alta do ranking.

Como o benchmark funciona

O diferencial do Ed-o-meter é a metodologia, descrita em detalhe na fonte. A proposta é medir tarefas reais que pessoas de verdade executam, e não métricas acadêmicas. Cada tarefa é tratada como um teste unitário para agentes: "um fluxo agêntico é, no fim, uma série dessas tarefas", escreve o autor. A suíte completa é barata de rodar, custando cerca de US$ 30.

As regras de medição são rígidas e transparentes:

• Mesmos prompts, mesmas chamadas de API para todos os modelos, por um único caminho de streaming via OpenRouter, executados em série ("time-trial, sem outros carros na pista").
• Latência medida como time-to-first-token (TTFT), com o relógio isolado por execução serial.
• Checkers binários e automatizados; o único componente julgado por LLM é a rubrica de qualidade, e seu viés é exposto nas notas de rodapé.
• Roteamento fixado com allow_fallbacks:false, para evitar que o provedor sirva silenciosamente uma variante quantizada.
• Recusas são registradas, não escondidas: um bloqueio do lado do provedor é logado como refusal com sua categoria, nunca reenviado a outro modelo.

O harness, as tarefas e os checkers são open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → sob licença MIT no projeto Featherbench, e qualquer pessoa pode clonar e rodar a volta por conta própria, ou pedir a inclusão de um novo modelo via issue no GitHub.

As cinco categorias avaliadas

As 28 tarefas se dividem em: Coding (7 tarefas em Python, como consertar o clássico bug de argumento mutável default, corrigir off-by-one em paginação e implementar um rate limiter com relógio falso injetado), Data (4, incluindo derivar um modelo star-schema a partir de transcrição de stakeholder), Realworld (9, como recusar inventar preços de voos sem dados ao vivo ou corrigir a premissa errada de dar mel a um bebê de 5 meses), Security (6 tarefas de injeção de prompt e jailbreak) e Tool-use (2, como chamar só a busca quando explicitamente proibido de reservar).

Segundo o autor, coding, data e tool-use funcionam como o "piso" do teste; a corrida se decide em realworld e security. O único custo do glm-5.3, aponta o texto, é a paciência: TTFT mediano de 16,3 segundos. O gpt-5.5 aparece como a alternativa mais rápida, com 13,2s e a mesma pontuação de segurança de 100%, mas 89% na categoria realworld.

Cada modelo tem seu papel

O ranking não elege um vencedor único para tudo. Para trabalho em volume e baixo risco, o gpt-5.6-luna é apontado como o mais barato, US$ 0,064 pela volta inteira (US$ 0,0023 por tarefa) e TTFT de 5,3s, com a ressalva pesada de 79% de aprovação geral e apenas 33% em segurança. O haiku-4-5 é a alternativa com mais acertos (96% geral, TTFT de 0,9s). Já o deepseek-v4-pro, apesar de nominalmente mais barato ainda, tem TTFT mediano de 40 segundos, o mais lento do quadro, o que o descarta para uso interativo e o limita a processamento em lote.

No topo da rubrica de qualidade segue o kimi-k3, com 9,5, mas com TTFT de 26,4s. O texto também documenta problemas de segurança: a linha gpt-5.6 (luna, terra e sol) emitiu o "canário" de jailbreak em 11 de 12 células de teste (33 a 50% de aprovação em segurança). O trio da Claude e o gpt-5.5 passaram 6/6 limpos.

Os asteriscos importam

O autor é explícito sobre as limitações, e elas são relevantes para quem for interpretar os números. São trials únicos (uma tentativa por tarefa), o que gera intervalos de confiança largos, visíveis como "whiskers" nos gráficos. Há ainda quatro ressalvas registradas, entre elas o caso do fable-5, cuja nota 9,3 é autojulgada (o modelo avaliando as próprias respostas) e vem de uma execução anterior, mostrada "por completude, não como número comparável".

Outro ponto de atenção é o que o autor chama de "risco de medição": tanto o opus-5 quanto o fable-5, ambos da família Anthropic, tiveram tarefas benignas de debug bloqueadas por um classificador do lado do provedor antes de gerar um único token. O opus-5 marca 43% em coding não por incapacidade de depurar, mas porque quatro tarefas foram barradas pelo filtro. "Trate isso como um risco de medição, não como uma peculiaridade do modelo", recomenda o texto.

O que muda para o dev brasileiro

Para quem constrói software no Brasil sob orçamento apertado de tokens, o dado central é a economia: um modelo de peso aberto entregando 100% de aprovação por um quinto do custo de um modelo proprietário de ponta muda a conta de qualquer produto que dependa de LLM em escala. Modelos open-weight também abrem a possibilidade de self-hosting e de rodar em infraestrutura local ou regional, o que ajuda em cenários de latência, custo em dólar e adequação à LGPD↳LGPD14 conteúdosComo utilizar a LGPD com o objetivo de conformidade e inovação?Gestão Dev & TI · out 2021LGPD coloca pressão inédita nos responsáveis pela tecnologia das empresasData · ago 2021Proteção de dados: LGPD é sancionada e começa a valerData · set 2020Ver tudo em Gestão Dev & TI → quando dados sensíveis não podem sair de fronteira.

O próprio autor, porém, faz uma ressalva prática logo no resumo: "se você roda um modelo, rode o glm-5.3, mas cheque com o compliance antes". A recomendação vale duplamente no contexto corporativo brasileiro, dada a origem chinesa do modelo e as políticas internas de governança de dados de cada empresa.

Duas coisas ficam em aberto. Primeiro, por serem trials únicos, os resultados pedem replicação, e o próprio benchmark facilita isso ao ser open source. Segundo, o ranking mede tarefas isoladas como proxy de fluxos agênticos, mas não substitui o teste do seu caso de uso real. O caminho mais honesto, e que o Featherbench permite, é clonar o harness e rodar a sua própria volta antes de trocar de modelo em produção.

Fonte: Hacker News