LLMs aprendem a ler e editar pesos de redes neurais sem passar pelo código

A newsletter AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → News, da Latent Space, trouxe na edição de 3 de novembro um achado que circulou forte entre pesquisadores na semana anterior: modelos de linguagem conseguem ler os pesos de uma rede neural menor, descrever o que ela faz, corrigi-la a partir de um traço de falha e, em alguns casos, escrever os pesos inteiros do zero.

Tudo isso sem rodar um único passo de treinamento convencional. O editor da newsletter, swyx, batizou a técnica de weight space programming, e o nome é literal: em vez de escrever código que treina um modelo, você pede pra um modelo mais forte manipular diretamente a matriz de números que é o outro modelo.

A comparação que o próprio texto usa ajuda a entender o salto: é como analisar um executável compilado sem olhar o código-fonte, só os bits, e ainda assim saber o que ele faz, consertar um bug com um único palpite e, em alguns casos, reescrever o programa inteiro a partir do zero. A diferença é que aqui os "bits" são os pesos de uma rede neural pequena, não um binário.

De onde vem a comparação com o autoresearch

O artigo contextualiza o achado citando o conceito de autoresearch que Andrej Karpathy havia descrito cerca de oito meses antes, por volta de março deste ano. Karpathy descrevia um ciclo em que um modelo suficientemente capaz roda experimentos sozinho num cluster, treinando outro modelo sem intervenção humana, mas sempre passando por um processo bem conhecido: escrever código em PyTorch ou Jax, rodar o treino, observar curvas de perda, ler avaliações, otimizar kernels e dados.

De forma abstrata, a demonstração é que você pode pegar um modelo suficientemente inteligente e, rodando uma série de experimentos num cluster de computação, treinar um outro modelo de forma autônoma, sem intervenção ou expertise humana.

Andrej Karpathy, citado por swyx na Latent Spacefoto: Gladwin Analytics · CC BY 3.0Abstractly, the demonstration is that you can take a sufficiently smart model and through running a series of experiments across a compute cluster, train a model autonomously without human expertise or intervention.

O que o novo achado faz é cortar essa engrenagem inteira do meio. Em vez de escrever código, rodar treino e esperar a curva de perda convergir, o modelo maior edita diretamente a matriz de pesos do modelo menor. Daí o nome do título original da newsletter: a técnica "corta o autoresearch fora do ciclo de RSI" (recursive self-improvement, ou auto-aperfeiçoamento recursivo).

O que foi demonstrado, concretamente

Segundo a cobertura da Latent Space, que cita o pesquisador Alex Zhang como coautor do trabalho (ele já havia sido convidado do podcast da própria Latent Space no mês anterior), três capacidades foram observadas:

• Leitura: o modelo consegue olhar os pesos crus de uma rede menor e descrever o que ela faz, sem rodar inferência nela.
• Edição dirigida: dado um traço de falha (um exemplo onde a rede menor errou), o modelo corrige o problema num único palpite, ou melhora a rede numa direção geral depois de cerca de 50 passos de edição.
• Escrita do zero: o modelo escreve pesos de uma rede inteira num único passo, em alguns casos superando redes que foram treinadas de forma independente, do jeito convencional.

Um exemplo citado na própria edição da newsletter é a edição dos pesos de modelos da família Qwen pra reduzir loops de raciocínio, um comportamento conhecido em modelos de cadeia de pensamento, onde o modelo fica repetindo o mesmo argumento sem convergir pra uma resposta. Em vez de fazer fine-tuning com dados novos, a intervenção mexe diretamente nos pesos responsáveis por esse padrão.

Os limites que o próprio autor do texto aponta

O texto da Latent Space é cuidadoso em não vender isso como mágica resolvida. Logo depois de descrever o achado, swyx escreve:

Claro que a coisa exata que estamos de fato modelando aqui é alguma variante de interpretabilidade mecanística (que poderia ser feita manualmente), e é pouco provável que isso escale pra tarefas mais avançadas do que jogos simples e políticas de aprendizado por reforço, mas o mundo acabou de sair de 0 pra 1 nessa capacidade de RSI muito nova.

swyx, editor da Latent SpaceOf course the exact thing we are really modeling is some variant of mechanistic interpretability (which could be done by hand), and right now unlikely to scale to more advanced tasks than simple games and RL policies, but the world has now gone from 0 to 1 on this very new RSI capability.

Ou seja: o que o modelo grande está fazendo, na prática, é um trabalho de interpretabilidade mecânica, só que automatizado e em escala. E a ressalva importa: as redes editadas nos experimentos são pequenas, do tamanho de uma política de RL que joga um jogo, não um LLM de centenas de bilhões de parâmetros. Escalar essa leitura/escrita de pesos pra redes do tamanho de um DeepSeek V4.1 Flash ou de um Qwen de produção é um salto de várias ordens de grandeza que ainda não foi demonstrado.

A newsletter também registra que uma reprodução independente do resultado já apareceu circulando no X, o que dá algum peso adicional ao achado sem, no entanto, constituir um paper revisado por pares publicado com benchmark fechado.

O que isso muda pra quem constrói com modelos abertos hoje

Aqui está o ponto prático pro leitor que mexe com modelos de verdade: weight space programming só é possível quando você tem acesso aos pesos crus. Isso deixa de fora qualquer modelo fechado atrás de uma API e empurra o interesse de volta pros modelos abertos, que é justamente onde a disputa está mais acirrada agora.

A mesma edição da AI News lista, entre os modelos abertos mais fortes do momento, o Kimi K3.1 Pro como líder, com o DeepSeek V4.1 Flash 1017 logo atrás e mais forte em tarefas de segurança ofensiva, além do Muse Spark Open da Meta (816B parâmetros totais, 42B ativos) como o modelo aberto mais capaz de origem americana.

Pra quem quer experimentar o lado prático dessa ideia sem esperar um paper formal, o caminho natural seria pegar um modelo pequeno e totalmente aberto, com pesos e arquitetura documentados, e usar um segundo modelo maior pra inspecionar camadas específicas, pedindo que ele descreva o que um bloco de atenção ou um conjunto de experts (em arquiteturas MoE) está fazendo a partir dos números brutos. Isso não substitui ferramentas de interpretabilidade mecânica já estabelecidas, mas testa, numa escala pequena, se o mesmo tipo de leitura funciona fora do ambiente controlado do experimento original.

O que fica em aberto

O ganho de eficiência é real no recorte testado: pular o ciclo de escrever código, treinar e avaliar é mais rápido do que rodar o pipeline inteiro de autoresearch pra ajustes pequenos. Mas a técnica ainda não tem benchmark comparável ao que a comunidade já usa pra medir capacidade de agentes, como o GDPx que a SemiAnalysis lançou na mesma semana (o modelo líder, Opus 5.5, pontua 12% em 206 tarefas agênticas).

Não há, até aqui, uma métrica equivalente pra dizer quanto da auto-melhoria por edição de pesos é genuína e quanto é aprendizado automático de atalhos para o benchmark específico usado no experimento. Essa é a pergunta que decide se weight space programming vira ferramenta de verdade ou fica restrita a jogos e políticas de RL, como o próprio autor da cobertura admite que é hoje.

Fonte: Latent Space