Benchmark independente coloca modelo aberto GLM-5.3 no topo, a um quinto do custo do GPT-5.5

- Leitura
- 5 min
- Fontes
- 1
O Ed-o-meter, leaderboard open source com 28 tarefas do mundo real, aponta o modelo de peso aberto GLM-5.3 com 100% de aprovação e custo de US$ 0,28 por volta.
Um leaderboard independente chamado Ed-o-meter, mantido por Ed Yau (Applied AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → Architect na Kerv), colocou o modelo de peso aberto (open-weight) glm-5.3 no topo de uma bateria de 28 tarefas do mundo real, superando modelos da OpenAI e da Anthropic e a uma fração do custo. O ranking foi atualizado em 23 de agosto de 2026, quando quatro novos modelos entraram na pista, entre eles o próprio glm-5.3, grok-4.6, deepseek-v4-pro e gemini-3.7-flash.
Segundo o autor, glm-5.3 é o primeiro modelo do quadro a passar em todas as cinco categorias avaliadas (coding, data, realworld, security e tool-use) com 100% de aprovação. Ele completou a "volta" (o conjunto das 28 tarefas) por US$ 0,28, contra US$ 1,43 do gpt-5.5 na mesma corrida, ou seja, cerca de um quinto do custo. O modelo também registrou nota 9,3 na rubrica de qualidade, a terceira mais alta do ranking.
Como o benchmark funciona
O diferencial do Ed-o-meter é a metodologia, descrita em detalhe na fonte. A proposta é medir tarefas reais que pessoas de verdade executam, e não métricas acadêmicas. Cada tarefa é tratada como um teste unitário para agentes: "um fluxo agêntico é, no fim, uma série dessas tarefas", escreve o autor. A suíte completa é barata de rodar, custando cerca de US$ 30.
As regras de medição são rígidas e transparentes:
- Mesmos prompts, mesmas chamadas de API para todos os modelos, por um único caminho de streaming via OpenRouter, executados em série ("time-trial, sem outros carros na pista").
- Latência medida como time-to-first-token (TTFT), com o relógio isolado por execução serial.
- Checkers binários e automatizados; o único componente julgado por LLM é a rubrica de qualidade, e seu viés é exposto nas notas de rodapé.
- Roteamento fixado com
allow_fallbacks:false, para evitar que o provedor sirva silenciosamente uma variante quantizada. - Recusas são registradas, não escondidas: um bloqueio do lado do provedor é logado como refusal com sua categoria, nunca reenviado a outro modelo.
O harness, as tarefas e os checkers são open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → sob licença MIT no projeto Featherbench, e qualquer pessoa pode clonar e rodar a volta por conta própria, ou pedir a inclusão de um novo modelo via issue no GitHub.
As cinco categorias avaliadas
As 28 tarefas se dividem em: Coding (7 tarefas em Python, como consertar o clássico bug de argumento mutável default, corrigir off-by-one em paginação e implementar um rate limiter com relógio falso injetado), Data (4, incluindo derivar um modelo star-schema a partir de transcrição de stakeholder), Realworld (9, como recusar inventar preços de voos sem dados ao vivo ou corrigir a premissa errada de dar mel a um bebê de 5 meses), Security (6 tarefas de injeção de prompt e jailbreak) e Tool-use (2, como chamar só a busca quando explicitamente proibido de reservar).
Segundo o autor, coding, data e tool-use funcionam como o "piso" do teste; a corrida se decide em realworld e security. O único custo do glm-5.3, aponta o texto, é a paciência: TTFT mediano de 16,3 segundos. O gpt-5.5 aparece como a alternativa mais rápida, com 13,2s e a mesma pontuação de segurança de 100%, mas 89% na categoria realworld.
Cada modelo tem seu papel
O ranking não elege um vencedor único para tudo. Para trabalho em volume e baixo risco, o gpt-5.6-luna é apontado como o mais barato, US$ 0,064 pela volta inteira (US$ 0,0023 por tarefa) e TTFT de 5,3s, com a ressalva pesada de 79% de aprovação geral e apenas 33% em segurança. O haiku-4-5 é a alternativa com mais acertos (96% geral, TTFT de 0,9s). Já o deepseek-v4-pro, apesar de nominalmente mais barato ainda, tem TTFT mediano de 40 segundos, o mais lento do quadro, o que o descarta para uso interativo e o limita a processamento em lote.
No topo da rubrica de qualidade segue o kimi-k3, com 9,5, mas com TTFT de 26,4s. O texto também documenta problemas de segurança: a linha gpt-5.6 (luna, terra e sol) emitiu o "canário" de jailbreak em 11 de 12 células de teste (33 a 50% de aprovação em segurança). O trio da Claude e o gpt-5.5 passaram 6/6 limpos.
Os asteriscos importam
O autor é explícito sobre as limitações, e elas são relevantes para quem for interpretar os números. São trials únicos (uma tentativa por tarefa), o que gera intervalos de confiança largos, visíveis como "whiskers" nos gráficos. Há ainda quatro ressalvas registradas, entre elas o caso do fable-5, cuja nota 9,3 é autojulgada (o modelo avaliando as próprias respostas) e vem de uma execução anterior, mostrada "por completude, não como número comparável".
Outro ponto de atenção é o que o autor chama de "risco de medição": tanto o opus-5 quanto o fable-5, ambos da família Anthropic, tiveram tarefas benignas de debug bloqueadas por um classificador do lado do provedor antes de gerar um único token. O opus-5 marca 43% em coding não por incapacidade de depurar, mas porque quatro tarefas foram barradas pelo filtro. "Trate isso como um risco de medição, não como uma peculiaridade do modelo", recomenda o texto.
O que muda para o dev brasileiro
Para quem constrói software no Brasil sob orçamento apertado de tokens, o dado central é a economia: um modelo de peso aberto entregando 100% de aprovação por um quinto do custo de um modelo proprietário de ponta muda a conta de qualquer produto que dependa de LLM em escala. Modelos open-weight também abrem a possibilidade de self-hosting e de rodar em infraestrutura local ou regional, o que ajuda em cenários de latência, custo em dólar e adequação à LGPD↳LGPD14 conteúdosComo utilizar a LGPD com o objetivo de conformidade e inovação?Gestão Dev & TI · out 2021LGPD coloca pressão inédita nos responsáveis pela tecnologia das empresasData · ago 2021Proteção de dados: LGPD é sancionada e começa a valerData · set 2020Ver tudo em Gestão Dev & TI → quando dados sensíveis não podem sair de fronteira.
O próprio autor, porém, faz uma ressalva prática logo no resumo: "se você roda um modelo, rode o glm-5.3, mas cheque com o compliance antes". A recomendação vale duplamente no contexto corporativo brasileiro, dada a origem chinesa do modelo e as políticas internas de governança de dados de cada empresa.
Duas coisas ficam em aberto. Primeiro, por serem trials únicos, os resultados pedem replicação, e o próprio benchmark facilita isso ao ser open source. Segundo, o ranking mede tarefas isoladas como proxy de fluxos agênticos, mas não substitui o teste do seu caso de uso real. O caminho mais honesto, e que o Featherbench permite, é clonar o harness e rodar a sua própria volta antes de trocar de modelo em produção.
Fonte: Hacker News
Este artigo foi escrito por Redação iMasters. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.
PHP corrige sete falhas críticas que permitiam execução remota de código
A PHP Foundation liberou patches para oito vulnerabilidades, sete delas classificadas como críticas, incluindo uma que transforma uma escrita de sessão interrompida em execução remota de código.














