Hot Chips 2026: a corrida de chips de inferência que mexe com o custo de rodar IA em produção

A 37ª edição da Hot Chips foi dominada por uma disputa que raramente aparecia nos holofotes: quem faz o silício que roda a inferência dos modelos, não o que treina eles. Segundo o resumo da Latent Space, o anúncio mais barulhento veio da OpenAI, que revelou os primeiros benchmarks do Jalapeño, seu chip de inferência próprio, menos de um ano depois da parceria com a Broadcom. A surpresa não foi o chip existir, era esperado, mas o fato de ele não ser um ASIC de nicho e sim, nas palavras da própria cobertura, um concorrente direto de arquitetura Blackwell.

Para quem constrói produto sobre LLM↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI →, isso não é fofoca de hardware. O custo de inferência é a conta que aparece todo mês na fatura da API ou da GPU alugada. Quando um chip promete fazer o mesmo trabalho gastando menos energia e entregando resposta mais rápida, essa conta muda, e com ela muda a viabilidade de rodar modelo em produção no Brasil, onde energia, câmbio e latência transatlântica já pesam.

O que o Jalapeño diz entregar

Os números divulgados pela OpenAI, reportados pela Latent Space, são específicos o suficiente para valer uma leitura cética. Em cargas reais de modelo, comparado a sistemas NVIDIA GB200/GB300, o Jalapeño teria entregue:

• 1,5 a 1,9x mais trabalho por watt em pico de throughput;
• 1,7 a 3,6x menos latência ponta a ponta;
• 2,1 a 4,1x mais desempenho em cargas altamente interativas (o caso típico de chatbot e agente).

O detalhe que chamou atenção dos analistas é o consumo: o chip é classificado em 700W, mas teria ficado em 550W ou abaixo nos testes. E há um ponto técnico que engenheiro de inferência entende de imediato: em alguns cenários o Jalapeño teria superado sistemas rivais mesmo sem recorrer a truques como desagregação agressiva de prefill/decode ou speculative decoding, técnicas que a concorrência usou para inflar seus próprios resultados. Se confirmado quando a apresentação completa sair, isso sugere uma arquitetura mais equilibrada, que reduz o clássico trade-off entre throughput (servir muita gente) e latência (responder rápido para cada um).

Vale a régua de sempre: são números do fabricante, em cargas escolhidas pelo fabricante. A SemiAnalysis, citada na fonte, classificou o resultado como incomumente forte para um ASIC de primeira geração e comparou o chip diretamente com sistemas classe Blackwell e Rubin. Mas benchmark de primeira geração pede repetição por terceiros antes de virar decisão de arquitetura.

O compilador escrito pelo próprio modelo

A história de segunda ordem é a mais interessante para quem acompanha IA aplicada. A OpenAI afirma que GPT-Astra + Codex ajudaram a escrever e otimizar os kernels de baixo nível do chip, colocando três modelos open-weight não planejados em alto desempenho no Jalapeño em cerca de dois meses. Para blocos selecionados de atenção e MoE, essas implementações teriam rodado 1,5 a 1,8x mais rápido que código escrito por especialistas humanos.

Se isso se sustenta, é um sinal concreto de que o trabalho de compilador e kernel está sendo dobrado para dentro do loop de melhoria do modelo, e não mais restrito à camada de aplicação. Na prática, o gargalo histórico de portar um modelo novo para um acelerador novo (semanas ou meses de engenharia de kernel manual) começa a encolher. Isso importa porque o motivo de a NVIDIA ser tão difícil de destronar nunca foi só o hardware, era o CUDA e o ecossistema de software em volta. Se o modelo escreve o software do chip, esse fosso fica mais raso.

Os outros competidores da mesa

O Jalapeño não estava sozinho. A Hot Chips reuniu a lista completa dos que atacam a inferência por ângulos diferentes:

• Cerebras CS-5: a aposta em wafer-scale, um chip do tamanho de uma bolacha, que elimina a comunicação entre GPUs mantendo o modelo inteiro em memória on-chip. É a arquitetura pensada para latência mínima em modelos grandes.
• Groq 3 LPX: a linha de LPU (Language Processing Unit) que construiu reputação em velocidade de geração de tokens por meio de execução determinística, sem a variabilidade de scheduling das GPUs.
• Apple M6: o ângulo de inferência local. A fonte destaca que a Apple passou a divulgar o projeto exo em suas páginas do Mac Studio M5 Ultra e do Mac Mini M6/M5 Pro, com RDMA de baixa latência sobre Thunderbolt 5 para clusterizar Macs e rodar modelos como Kimi K3 e GLM-5.3 em velocidade de API. Quatro M5 Ultra escalariam para cerca de 4,8 TB/s de banda de memória agregada.

São três filosofias distintas: Cerebras e Groq vendem inferência em nuvem com característica de desempenho previsível; a OpenAI verticaliza para servir seus próprios modelos mais barato; a Apple empurra a inferência para dentro da máquina do usuário. Cada uma ataca uma parte diferente da conta de custo.

O que isso muda para quem constrói no Brasil

Para a startup ou o dev brasileiro, o efeito prático não é comprar um Jalapeño, esse chip vai para a infraestrutura interna da OpenAI a partir do fim do ano, sem venda avulsa. O efeito é indireto e vem por dois caminhos.

Primeiro, pressão de preço. Se a OpenAI conseguir reduzir o custo por token servido com silício próprio, isso abre espaço para preço de API mais agressivo, ou pelo menos para manter preço enquanto sobe a qualidade do modelo. A mesma lógica vale para Groq e Cerebras, que já vendem inferência como serviço e competem por token barato. Mais competição no andar de baixo do stack tende a chegar na fatura de quem consome API.

Segundo, inferência local viável. O ângulo Apple/exo é o mais tangível para o Brasil, onde latência para data centers nos EUA e custo de nuvem em dólar doem. Rodar um modelo de porte médio localmente, num cluster de Macs ou numa máquina única com banda de memória alta, deixa de ser hobby e vira arquitetura defensável para quem lida com dado sensível ou não quer depender de round-trip internacional. A própria Perplexity lançou na mesma semana o Portable Computer sobre NVIDIA DGX Spark, com orquestrador, subagente e harness rodando 100% local, embora a crítica da comunidade tenha sido justa: chamar de "local-first" um hardware de US$ 5 mil é diferente de rodar em dispositivo de consumo.

O gargalo que nenhum chip resolve

Há um limite que atravessa todos esses anúncios e vale registrar: capacidade de empacotamento e de foundry. Como aponta a fonte citando o LearnOpenCV, os processos de embalagem avançada da TSMC (CoWoS) e a capacidade de fábrica continuam sendo o gargalo duro. Não adianta ter a arquitetura mais eficiente do mundo se não há linha de produção para fazer os chips em volume. A OpenAI já fala em Gen 2 em desenvolvimento avançado e Gen 3 iniciada, mas até a Gen 1 depende da mesma fila de fabricação que todo mundo disputa.

O recado do Hot Chips 2026 é que a era em que a economia de inferência era ditada exclusivamente pela NVIDIA está rachando. Para quem coloca modelo em produção, a métrica a monitorar deixou de ser TFLOPs de pico e passou a ser desempenho por watt, porque é ela que define quanto custa cada resposta que o seu produto entrega ao usuário.

Fonte: Latent Space