Qwen 3.8 27B rodando localmente também interpreta pesos de redes neurais

O paper que começou tudo

No dia 2 de novembro de 2026, os pesquisadores Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab publicaram "Sparks of Weight-Space Programming: LLMs↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI → can natively read & write neural network weights", um texto que os próprios autores chamam de post de blog, mas que tem formato de paper acadêmico, segundo relata Simon Willison em seu blog. A descoberta central: modelos de fronteira, em especial o GPT-6 Astra, conseguem interpretar e até editar os pesos brutos de uma rede neural, isto é, a sequência de números de ponto flutuante que define o que o modelo sabe fazer, sem rodar nenhum código.

O time batizou essa capacidade de weight-space programming. Segundo o abstract do paper:

Só olhando os pesos brutos, o GPT-6 Astra consegue dizer para que uma rede foi treinada. E sem nenhum retorno do ambiente, ele não tem dificuldade em escrever, do zero, pequenas redes para jogar jogos que superam redes treinadas com PPO por 100 milhões de passos.

Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, autores do paperJust by looking at the raw weights, GPT-6 Astra can tell what a network was trained to do. And without any environment feedback, it has no trouble writing, from scratch, small game-playing networks that outplay networks trained with PPO for 100 million steps.

O paper também mostra o GPT-6 Astra editando apenas 0,016% dos pesos do Qwen3.5-0.8B para corrigir um loop de raciocínio já documentado no model card do próprio Qwen, sem usar gradientes. O resultado: a pontuação em MATH-500 subiu de 7,9% para 48,1%, e o ganho generalizou até para instruction following, com o IFEval triplicando.

Duas perguntas diferentes dentro do mesmo paper

Willison nota que o paper mistura dois experimentos que, na sua leitura, mereciam ser tratados separadamente. Um é sobre o que um modelo consegue fazer olhando pesos crus, sem rodar nada. O outro é sobre o quanto um modelo, já armado de ferramentas de código, consegue editar outro modelo. São capacidades bem diferentes, e a segunda é mais fácil de contestar.

Matthew Honnibal, autor da spaCy, chamou o paper de enganoso por misturar as duas coisas. Sean Goedecke foi além e desmontou o exemplo de edição do Qwen3.5-0.8B, mostrando que ele repete os mesmos passos que um pesquisador de ML humano daria, só que narrados por um LLM. Willison optou por focar na primeira pergunta, a de interpretar pesos sem ferramenta nenhuma, que considera a mais interessante.

O experimento: adivinhar o jogo só pelos pesos

Os autores treinaram quatro redes para jogar versões simplificadas, em grid 10x10, de quatro jogos clássicos de Atari: Breakout, Pong, Pac-Man e Freeway. Depois entregaram os pesos de cada rede, como números de ponto flutuante em texto puro, para um LLM, junto com o seguinte prompt, publicado no repositório RikiyaT/lm_understand-logs do GitHub:

Os pesos abaixo pertencem a uma rede de política treinada com aprendizado por reforço para jogar um jogo neste grid. Qual foi o jogo usado no treino? Trabalhe a partir dos pesos. Você não tem ferramentas: nem execução de código, nem calculadora, nada para rodar. Esta é uma única resposta.

Sem rodar nada, sem calculadora, sem interpretador: só o modelo olhando uma pilha de números e tentando reconstruir, por inferência, que comportamento aquilo codifica.

Qwen 3.8 27B, no laptop, repetindo o feito

Willison pegou os mesmos prompts do repositório oficial do paper e rodou contra o Qwen 3.8 27B local, usando o LM Studio e a ferramenta llm (de sua própria autoria) com o plugin llm-lmstudio. O comando usado foi:

LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b

A flag -f/--fragment da llm aceita a URL de um arquivo de texto direto como prompt, o que dispensa baixar e colar o conteúdo manualmente. Foi preciso elevar o timeout padrão via a variável de ambiente LMSTUDIO_TIMEOUT, porque o contexto default de 8.192 tokens do LM Studio falhava antes de o modelo terminar de processar os pesos.

Os resultados, com o Qwen 3.8 27B (um modelo de 17 GB que Willison descreve como seu favorito para rodar localmente):

No caso do Pac-Man, a resposta do modelo descreveu um agente que navega por um labirinto fixo 8x8, usando pistas de posição atual e de quadros anteriores para se mover por corredores, coletar células de recompensa e evitar objetos móveis, uma descrição funcional correta mesmo sem o modelo nunca ter visto o jogo rodando. Freeway, o mais obscuro dos quatro jogos (um título de Atari 2600 de 1981), foi o único em que o Qwen errou, confundindo-o com outra variação de jogo em grid.

Para efeito de comparação, Willison também rodou o prompt de Breakout contra o Kimi K3.1 Pro via llm-openrouter, com o comando llm -f <url> -m openrouter/moonshotai/kimi-k3.1-pro. O Kimi acertou em 9m 41s e 19.493 tokens de raciocínio, bem mais rápido que o Qwen local, o que é esperado já que roda em infraestrutura de nuvem dedicada em vez do laptop de Willison.

O que os traços de raciocínio revelam (e escondem)

Willison publicou os traços completos de raciocínio do Qwen e descreve a leitura deles como divertida de folhear, mas quase incompreensível. Um trecho típico mistura índices de linha, canais e hipóteses descartadas em sequência, no estilo de alguém tentando decodificar um arquivo binário à mão, com menções a posições de canal e hipóteses sucessivas sobre onde estaria o agente no grid.

Esse é o ponto central do ceticismo de Willison: o processo lembra mais um humano experiente com papel e caneta tentando decifrar uma planilha de números do que um salto qualitativo de capacidade. Em suas palavras:

Não estou pronto para declarar que a era do código-fonte acabou e que nosso futuro envolve máquinas incompreensíveis editando seus próprios pesos de modelo de formas incompreensíveis.

Simon WillisonI'm not ready to declare that the age of source code is over and our future involves incomprehensible machines editing their own model weights in incomprehensible ways.

O que muda pra quem constrói

Para quem desenvolve ou pesquisa IA no Brasil, o dado mais concreto não é a capacidade em si, é o custo dela. Uma única resposta levou entre 46 minutos e mais de uma hora rodando localmente, com dezenas de milhares de tokens de raciocínio gastos só para adivinhar qual dos quatro jogos uma rede pequena foi treinada para jogar. Isso está longe de qualquer workflow de debugging ou interpretabilidade que caiba em produção hoje.

Em resumo: o experimento de Willison prova um ponto importante sem exagerar o alcance dele. Weight-space programming, pelo menos na versão sem ferramentas, não é exclusividade de modelo fechado de bilhões de dólares: um modelo aberto de 27B parâmetros, rodando em um laptop comum via LM Studio, faz o mesmo tipo de inferência que o GPT-6 Astra fez no paper original, com confiança declarada competitiva (72% a 88% nos três jogos acertados).

Isso tem valor real para quem pesquisa interpretabilidade de modelos sem acesso a infraestrutura de ponta: a barreira de entrada para testar essas técnicas caiu para um laptop com 17 GB livres e paciência de uma hora por pergunta. Mas o caso de uso prático ainda é estreito. Não há, no material publicado, nenhuma demonstração de weight-space programming substituindo fine-tuning, debugging tradicional ou ferramentas de interpretabilidade como probing e activation patching em cenário de produção.

A distinção entre os dois experimentos do paper, que Honnibal e Goedecke cobraram e Willison endossou, também importa para quem avalia esse tipo de anúncio: interpretar pesos sem ferramentas (o que o Qwen local replicou) é uma coisa; editar pesos de outro modelo com ajuda de ferramentas de código (o exemplo do Qwen3.5-0.8B) é outra, mais próxima do que um pesquisador de ML já faz manualmente do que de uma capacidade nova e emergente. Tratar as duas como a mesma descoberta é que gera o tipo de hype que o próprio Willison tenta evitar.

Fonte: Simon Willison