Apple mostra LLM de 816 bilhões de parâmetros rodando localmente em Mac Studio, sem nuvem

O que a Apple publicou

No dia 15 de outubro de 2026, a equipe de Apple Machine Learning↳Machine learning39 conteúdosClassificador de Sentimentos – Azure MLData · abr 2019Inteligência Artificial e Machine Learning: O que você precisa saberAI · fev 2024Inteligência Artificial: seminário online da USP debate o futuro do aprendizado de máquinaGestão Dev & TI · jun 2021Ver tudo em AI → Research publicou um post técnico mostrando como rodar modelos de linguagem de porte "frontier" inteiramente em hardware próprio, sem passar por nenhuma API de nuvem. O protagonista é o Muse Spark Open, modelo de mistura de especialistas (MoE) com 816 bilhões de parâmetros totais, dos quais apenas 42 bilhões ficam ativos a cada inferência.

O experimento roda sobre o MLX, framework de array open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → da Apple otimizado para a arquitetura de memória unificada do Apple silicon. A demonstração usa um cluster de quatro unidades de Mac Studio com chip M5 Ultra, interligadas por cabos Thunderbolt, e consegue gerar mais de 36 tokens por segundo com esse modelo gigante, taxa que a própria Apple classifica como acima da velocidade média de leitura humana.

Por que um modelo desse tamanho não cabe em uma máquina só

Em precisão nativa (BF16), o Muse Spark Open exigiria mais de 1,6TB de RAM só para os parâmetros. Mesmo quantizado em 4 bits (NVFP4), o modelo ainda ocupa cerca de 493GB, o que, somado à memória necessária para os cálculos intermediários da inferência, estoura a capacidade de um único Mac Studio (que vai até 512GB de memória unificada). A solução da Apple é dividir o modelo entre máquinas.

Existem dois jeitos de fazer essa divisão, segundo o post:

• Paralelização por pipeline: cada máquina guarda um pedaço da profundidade do modelo (um conjunto de camadas) e processa sua parte em sequência, repassando o resultado para a próxima.
• Paralelização por tensor: cada máquina guarda uma fatia da largura de cada camada, processando parte do cálculo de cada camada em paralelo com as outras.

A paralelização por tensor rende mais velocidade, mas depende de comunicação muito rápida entre as máquinas, porque troca dados a cada camada e a cada token.

O que viabilizou isso: RDMA sobre Thunderbolt

A peça que destrava a paralelização por tensor é um driver de baixa latência chamado RDMA sobre Thunderbolt 5, introduzido no macOS 26.2. A partir da versão 0.30.1, o MLX passou a usar esse driver através de um conjunto de rotinas de comunicação batizado de jaccl (lido "jackal"). Na prática, o pesquisador conecta os Mac Studios em malha com cabos Thunderbolt e sobe o job com o comando mlx.launch, como neste exemplo do próprio post, usado para hospedar o Muse Spark Open como servidor local na porta 8080:

mlx.launch --hostfile hostfile.json --backend jaccl -- env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

A Apple também comparou o M5 Ultra com a geração anterior, M3 Ultra, em modelos menores que cabem numa máquina só (Qwen 3.8, de 27B, e Mistral Medium 3.5, de 128B). O tempo até o primeiro token chega a ser 4,6 vezes mais rápido no M5 Ultra, puxado pelos aceleradores de matriz dedicados na GPU; a velocidade de geração de tokens é até 1,6 vez maior, graças à banda de memória unificada de 1,2TB/s do M5 Ultra contra 819GB/s do M3 Ultra.

O consumo de energia que chama atenção

Um dado que a Apple destaca separadamente é o consumo elétrico: cerca de 200W de pico no M3 Ultra e 300W no M5 Ultra durante a inferência, o que a empresa compara a "uma fração do que usa uma torradeira comum". O argumento, explícito no post, é que esse patamar de consumo torna viável manter esse tipo de carga de IA ligada em casa ou num escritório comum, sem infraestrutura de data center.

O que muda para quem decide produto

Esse post é material de pesquisa, não um anúncio de produto acabado, mas carrega uma leitura relevante para quem desenha e decide features de IA. Rodar um modelo de fronteira inteiramente dentro da própria rede, sem nenhuma chamada sair para fora, muda o cálculo de build vs. buy para produtos que hoje evitam IA generativa por causa de dados sensíveis, como prontuário médico, contrato jurídico ou dado financeiro de cliente.

Em resumo: a barreira técnica de "não dá pra rodar IA de ponta sem mandar dado pra nuvem de terceiro" está ficando mais fina, pelo menos para quem tem orçamento de hardware.

Vale notar, porém, que essa independência troca um tipo de dependência por outro. Em vez de um contrato de API de nuvem, o requisito passa a ser possuir dois ou quatro Mac Studios com M5 Ultra, cada um já no teto de 512GB de memória, interligados por cabos Thunderbolt específicos. Para a maioria dos times de produto, isso ainda é investimento de capital considerável, bem distante de "qualquer notebook da equipe".

Há também uma leitura de posicionamento por trás da publicação. A Apple abre o código do MLX, publica benchmarks reproduzíveis e escreve um guia passo a passo de como montar o cluster — um movimento de produto claro para se firmar como plataforma de escolha de pesquisadores e desenvolvedores de IA, disputando o mesmo público que hoje aluga GPU em nuvem para treinar e servir modelos.

Onde isso aparece no dia a dia: IA agentic local

O post termina conectando o experimento a um uso concreto: ferramentas de codificação agentic rodando localmente. Com o servidor MLX no ar, dá para apontar um cliente compatível com a API da OpenAI, como o OpenCode, direto para o endpoint local:

{
 "$schema": "https://opencode.ai/config.json",
 "provider": {
 "mlx": {
 "npm": "@ai-sdk/openai-compatible",
 "name": "Local MLX",
 "options": { "baseURL": "http://127.0.0.1:8080/v1" }
 }
 }
}

Para um PM ou designer avaliando UX↳UX33 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025UX, IA e Front-End: quando experiência, inteligência e código se encontram para criar o futuro digitalProduto & UX · jul 2025Novidades em UX/UI para 2025: O futuro do design de experiências digitaisProduto & UX · abr 2025Ver tudo em Produto & UX → de copiloto interno, o número que importa aqui é a velocidade de geração: os 36,73 tokens por segundo registrados com quatro Mac Studios em tensor parallelism (contra 15,74 tokens/s só com pipeline em duas máquinas) é o tipo de dado que define se uma experiência de chat ou agente parece fluida ou travada.

O que ainda fica em aberto

A Apple não divulgou o custo total de montar um cluster de quatro Mac Studios com M5 Ultra, nem uma comparação direta de custo por token frente às APIs de nuvem equivalentes para um modelo do porte do Muse Spark Open. Também não fica claro, pelo material publicado, se esse caminho é pensado para sair do ambiente de pesquisa e virar algo embalado para times de produto que não têm engenheiro de infraestrutura dedicado — por enquanto, é ferramenta de desenvolvedor e pesquisador, não produto pronto para uso.

Fonte: Hacker News