Pesos abertos maiores e compiladores de inferência redefinem o custo de rodar IA em produção

A edição de 4 de novembro de 2026 do boletim AINews, publicado pela Latent Space, batizou a semana de “temporada de trocas” (It's Swapping Season). O texto fala de gente trocando de empresa, mas o conteúdo técnico mostra algo mais relevante pra quem bota modelo em produção: o mercado está trocando de peças de infraestrutura inteira. Pesos abertos ficaram maiores e mais competitivos, surgiram compiladores que reotimizam inferência sozinhos e apareceram técnicas de contexto que cortam custo sem perder pontuação em benchmark. Nada disso é anúncio isolado: é o desenho da pilha que vai rodar os próximos agentes.

Pesos abertos ficam maiores (e mais estranhos de dimensionar)

A Moonshot liberou os pesos do Kimi K3.1 Pro nesta semana: um MoE multimodal com 2,8 trilhões de parâmetros totais e 104 bilhões ativados por token, 93 camadas, 896 experts e janela de 1 milhão de tokens. O suporte em vLLM e SGLang saiu no dia zero, cobrindo AMD, NVIDIA, Rubin e TPU, com SGLang também rodando em Trainium 2 e 3, segundo a cobertura da SemiAnalysis citada no boletim. No Agent Arena, o modelo aparece em primeiro lugar entre os abertos e décimo terceiro geral, com ganho líquido de 5,1% em mais de 17,5 mil sessões agênticas.

No mesmo pacote, a Ricursive lançou o Ripple-65B Preview: um modelo denso de 65B treinado do zero, licença Apache 2.0, 12 trilhões de tokens de treino e orçamento declarado de US$ 32 milhões cobrindo toda a pesquisa. A empresa afirma que ele é o melhor peso aberto americano em codificação agêntica, à frente de MoEs bem maiores como o Beam-501B (que ativa 23B parâmetros por token). No Terminal-Bench 2.1, o placar citado é 80,5% contra 80,1% do Beam. A Prime Intellect, que rodou os clusters de pré-treino, cita eficiência de computação 16 vezes maior na escada de scaling.

A tabela abaixo resume o que mudou nesta leva de lançamentos, com os números que o próprio material divulga:

O contraponto que o próprio boletim registra: críticos apontam que o Ripple-65B ainda perde para o V4 Flash de 284B, e que a comparação “SOTA entre os americanos” evita colocar o Qwen na mesma mesa. Vale ler os números com essa ressalva: cada lançamento escolhe os concorrentes que mais favorecem o próprio resultado.

O compilador que reotimiza a inferência sozinho

O Together Compiler (TKCC) é descrito no material como um compilador agêntico que reotimiza continuamente a inferência em produção conforme modelo, tráfego e hardware mudam, já servindo trilhões de tokens por dia. A Together afirma que os agentes do compilador rodam 252 vezes mais experimentos de otimização por hora do que sistemas anteriores, chegando a 1.111 tokens por segundo no MiniMax M3.1 em B200 e 1.205 no DeepSeek V4.1 Flash em GB300, com batch size 1 e um ciclo de compilação de 24 horas em dois nós. A SemiAnalysis diz ter validado um desses resultados de forma independente, o que dá algum lastro ao número.

A tese por trás disso é que compiladores agênticos alcançam tetos de performance mais altos do que abstrações desenhadas à mão. O time do TVM discorda e está reconstruindo o TIRx como base compartilhada para desenvolvimento de kernels agênticos, argumentando que DSLs (linguagens específicas de domínio) ainda importam. Para quem decide infraestrutura, o debate é prático: compilador agêntico promete menos trabalho manual de tuning, mas ainda é caixa-preta sobre caixa-preta, e substitui controle fino por automação que você não audita linha a linha.

Onde o custo realmente cai: contexto e kernel

Dois achados menores no boletim têm impacto direto no bolso de quem roda agentes de verdade. O primeiro vem de um resumo da NVIDIA sobre compactação de contexto: com uma ação por contexto, o Opus 4.5 pontua 70,2 no SWE-bench Verified contra 70,0 com histórico completo, mas o pico mediano de contexto cai de 32K para 8K tokens. Compactação ao final da conversa chega a 74,8, e o padrão se repete em Terminal-Bench, FRAMES e BFCLv3.

Na prática, isso significa que boa parte do custo de rodar agentes em produção não vem do modelo escolhido, e sim de como o histórico é gerenciado: cortar contexto sem perder (e às vezes ganhando) qualidade é uma alavanca de custo que não depende de trocar de modelo.

O segundo achado é o llama.cpp v0.9.0, que passou a suportar FP8 nativo (E4M3), paralelismo tensorial multi-nó via NCCL e os modelos Mistral Large 4 e Nemotron 3.5 Transcribe. FP8 nativo e paralelismo multi-nó em runtime de código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → reduzem a dependência de pilha proprietária pra escalar inferência além de uma máquina, o que importa bastante para quem monta cluster próprio em vez de alugar GPU gerenciada.

O que muda para quem constrói no Brasil

Nenhum desses números chega pronto para uso local sem tradução de contexto. Um modelo de 2,8 trilhões de parâmetros totais, mesmo com só 104B ativados, ainda exige memória de GPU que a maioria dos times brasileiros não tem disponível fora de nuvem; hardware como GB300 e Rubin citados no boletim praticamente não existe em datacenter nacional hoje. Em resumo: para esse público, o ganho real do Kimi K3.1 Pro e do Ripple-65B não é “rodar localmente”, é ter acesso via Ollama Cloud, Databricks ou SkyPilot com retenção zero de dados e licença permissiva, o que facilita compliance sem abrir mão de self-hosting futuro se a infraestrutura permitir.

O lado do roteamento de custo é mais acessível agora. O Baseten Grid, citado no boletim, promete unificar roteamento, orçamento e guardrails entre provedores, com a empresa afirmando corte de 72% no custo de tarefas de código comparado ao Opus 5.5. Isso é relevante pra quem paga em dólar por token e sente o câmbio: escolher o provedor certo por tarefa, em vez de fixar um modelo único, vira prática de FinOps tão importante quanto escolher o modelo em si.

A conta de energia também aparece no boletim e merece atenção de quem avalia custo de borda ou datacenter local: o estudo Joules-to-GDP mostra que o Gemma 4 31B entrega 56% do valor do GLM 5.2 usando 23% da energia, e que mover um modelo de 1 para 8 H100s consome 3,2 vezes mais energia por apenas 22% de ganho de velocidade. Em um país onde energia elétrica pesa no custo operacional, essa curva de retorno decrescente é argumento concreto contra escalar hardware só porque dá pra escalar.

Onde não vale a pena confiar de olhos fechados

Os números de lançamento são autodeclarados e otimizados para parecer bem na comparação escolhida pelo próprio fornecedor. O Hy4, da Tencent, por exemplo, aparece em quarto lugar entre os abertos numa avaliação independente da Vals, atrás de Kimi K3.1 Pro, DeepSeek V4.1 Flash e GLM-5.3, com 21 tarefas travando por chamadas de ferramenta malformadas e 18 estourando tempo limite. Isso não invalida o lançamento, mas mostra a distância entre o anúncio e o comportamento em avaliação de terceiros.

O mesmo cuidado vale para o Ripple-65B: o próprio material do boletim registra que ele perde para o V4 Flash de 284B e que a comparação evita colocar modelos chineses fortes como o Qwen na mesma régua. Antes de trocar a stack de produção por qualquer um desses lançamentos, a recomendação prática é rodar a própria avaliação, no próprio caso de uso, com o próprio conjunto de tarefas, porque Terminal-Bench e Agent Arena medem coisas que podem não bater com o problema real que está sendo resolvido.

Fonte: Latent Space