Qwen 3.8 27B roda em laptop, mas o padrão faz o modelo pensar demais

O lançamento de sexta-feira que mexeu com a comunidade de LLMs↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI → locais foi o Qwen 3.8 27B, um modelo de 27 bilhões de parâmetros com licença Apache 2, capacidade de visão e liberado pelo laboratório Qwen da Alibaba. Simon Willison colocou o modelo à prova em duas máquinas diferentes (um MacBook Pro M5 Max de 128GB e um NVIDIA DGX Spark) e o veredito é entusiasmado, com um asterisco enorme: o padrão de fábrica faz o modelo pensar de forma absurdamente exagerada.

O ponto que interessa para quem constrói IA local sem depender de API paga é o tamanho. Estamos falando de um arquivo de 17GB na build quantizada Q4_K_M, o que cabe confortavelmente em hardware de consumidor top de linha. Segundo Willison, "o fato de um arquivo de 17GB conseguir fazer tudo isso nas minhas máquinas de casa é um milagre". Um ano atrás, um modelo com esse nível de competência seria competitivo com os melhores proprietários e caríssimos.

O padrão xhigh é uma armadilha

Aqui está a parte que todo dev precisa saber antes de baixar o modelo. A documentação do Qwen define o reasoning_effort padrão como xhigh, e a GGUF do LM Studio preserva esse padrão. As opções são três:

• xhigh (padrão): para tarefas complexas que exigem análise minuciosa
• medium: equilíbrio entre precisão e velocidade
• low: raciocínio eficiente otimizado para velocidade e custo

O problema é que xhigh transforma qualquer requisição trivial em uma dissertação. No teste clássico de Willison, o "pelicano andando de bicicleta em SVG", o modelo levou 21 minutos e queimou 22.276 tokens de raciocínio para produzir 3.223 tokens de saída. O resultado foi, de longe, o melhor pelicano que ele já conseguiu de um modelo local (quadro da bicicleta na forma certa, pernas dos dois lados, bico com a bolsa característica, até um fundo com sol, nuvens e flores). Valeu a espera de 21 minutos? "Absolutamente não", responde o próprio autor.

Pior: ele também rodou um prompt ridiculamente simples, draw an svg of a circle. O traço de raciocínio começou assim: "O usuário está pedindo um SVG de um círculo. Pedido simples, mas quero que seja uma peça cuidadosamente elaborada". O modelo então divagou sobre paletas de cor Bauhaus, anéis concêntricos, marcas de compasso e animação sutil, e minutos depois entregou um círculo animado lindo que não era nada do que foi pedido.

A recomendação prática é direta: ignore o padrão. Rode o Qwen 3.8 27B em low ou até sem reasoning nas primeiras tentativas. Um detalhe operacional importante é que o limite de contexto padrão de 8.192 tokens do LM Studio estoura imediatamente com o modelo pensando demais. Willison teve que carregar o contexto máximo de 262.144 tokens para o problema desaparecer. Com o reasoning desligado, o mesmo prompt do pelicano rodou em pouco mais de dois minutos (137 segundos).

Vision e bounding boxes funcionam de verdade

Uma forma divertida de testar um modelo de visão é pedir bounding boxes em torno de objetos numa foto. O Qwen se saiu muito bem. Usando o CLI llm, Willison passou uma foto de pelicanos pedindo coordenadas em escala 0-1000:

llm -a https://static.inaturalist.org/photos/714731804/large.jpg \
  -m lmstudio/qwen/qwen3.8-27b \
  'Return JSON bounding boxes for the pelicans in this photo, 0-1000 scale for each dimension'

O retorno foi um JSON limpo com dois bounding boxes que casaram com precisão sobre a imagem original. Melhor ainda: ele pediu ao próprio Qwen, rodando offline no laptop, que construísse uma ferramenta HTML↳HTML45 conteúdosA importância do HTML e CSS para quem trabalha com UI Design e Design SystemProduto & UX · dez 2024Como hostear seu site HTML gratuitamente com GitHub PagesDev (Back & Front) · jun 2025SQL Server – Como criar um versionamento de código das suas Stored Procedures em HTML e com comentários da alteraçãoData · nov 2020Ver tudo em Dev (Back & Front) → para renderizar esses boxes sobre a imagem. O modelo entregou a interface completa a partir de um único prompt, com um bônus não solicitado (uma cena de demonstração desenhada por ele mesmo). O motivo dessa gambiarra criativa aparece no traço de raciocínio: como o exemplo de JSON usava o rótulo "pelicans", o modelo decidiu desenhar seus próprios pelicanos em canvas para ter uma demo autocontida.

Sim, dá para rodar coding agents

A pergunta que vale ouro para quem quer IA local: um modelo desse tamanho tem fôlego para sustentar um loop de coding agent? Isso exige contexto longo, geração de código forte e tool-calling confiável. No papel, o Qwen 3.8 27B tem os três, e na prática também.

Willison usou o agente Pi (escolhido justamente por ter um system prompt curto, o que favorece modelos menores) apontando para o Qwen rodando no LM Studio no Spark, compartilhado via tailscale serve. A configuração no ~/.pi/agent/models.json é um bloco de provider apontando para o endpoint openai-responses local. Perguntando "how does auth work?" no repositório do Datasette, o agente encadeou raciocínio e chamadas de ferramenta acessando vários arquivos e produziu uma resposta sólida. Em seguida, pediu código Python para converter o transcript JSONL da sessão em markdown, e o modelo construiu e testou o script sozinho.

Um ponto interessante sobre o valor do reasoning: quando ele desligou o raciocínio para gerar a ferramenta de bounding box, o resultado quase funcionou mas renderizou os boxes no lugar errado. Ou seja, o over-thinking é um exagero no padrão, mas o raciocínio em si faz diferença real em tarefas que precisam de precisão.

O calcanhar de Aquiles é a velocidade

Aqui mora o motivo real que ainda segura o modelo de virar daily driver: ele é lento. Willison relata 15 a 30 tokens por segundo no LM Studio. Não é terrível, mas é lento o bastante para não competir com APIs hospedadas. Para efeito de comparação, o Artificial Analysis registra o OpenAI 5.6 Sol a 74 tokens/s e o 5.6 Luna a impressionantes 184/s.

A causa técnica é que este é um modelo denso, não Mixture-of-Experts. Modelos densos precisam de muita largura de banda de memória para performar bem, e nem o M5 Mac nem o DGX Spark brilham nesse quesito.

A boa notícia é que a comunidade já está otimizando. A aposta mais promissora vem embutida no próprio modelo: Multi-Token Prediction (MTP), um truque de arquitetura em que um mecanismo mais barato adivinha vários tokens à frente e o modelo principal verifica rapidamente se os palpites estavam certos. Seguindo uma dica do criador do llama.cpp, Georgi Gerganov, Willison rodou o modelo com MTP no Spark:

llama serve \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  -hfd ggml-org/Qwen3.8-27B-GGUF:Q4_0 \
  --spec-default \
  --spec-type draft-mtp \
  --reasoning-preserve

Um benchmark comparativo rodado com GPT-5.6 no Codex mostrou o servidor com --spec-type draft-mtp superando a GGUF padrão do LM Studio em cerca de 72%. É de se esperar mais inovação em serving nas próximas semanas, incluindo trabalho da comunidade MLX.

O que fica para o dev brasileiro

O recado central não é sobre o pelicano nem sobre o padrão maluco de reasoning. É sobre o que o Qwen 3.8 27B demonstra: dá para ter um modelo de pesos abertos, propósito geral, com contexto longo, tool-calling eficaz, boa visão e geração de código competente, tudo num arquivo de 17GB rodando localmente. Para quem quer explorar IA sem custo por token nem envio de dados para fora, essa é a fronteira que importa acompanhar.

O trade-off honesto é o hardware. Precisa de uma máquina com bastante memória e, de preferência, boa largura de banda, e ainda assim a velocidade não vai bater a de uma API hospedada. Para prototipagem, tarefas offline, dados sensíveis e experimentação com agentes, já vale. Para produção com SLA de latência apertado, ainda não. E, seja qual for o caso, a primeira coisa a fazer depois de baixar é trocar o reasoning_effort para low.

Fonte: Simon Willison