Modelos de difusão contínua para linguagem voltam ao radar da pesquisa em IA

Depois de alguns anos de dormência, a pesquisa em modelos de difusão contínua para linguagem (CDLMs, na sigla em inglês) voltou a ganhar tração. É o que documenta Sander Dieleman, pesquisador do Google DeepMind (envolvido em projetos como Imagen, Veo e Nano Banana), em um longo post publicado em agosto de 2026. O texto é explicitamente subjetivo, um balanço de bastidores de quem trabalhou na área e a viu quase desaparecer, mas serve como mapa do que está em jogo numa alternativa ao paradigma que sustenta os LLMs↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI → atuais.

O que difusão contínua tem a ver com linguagem

Os modelos de linguagem modernos são, em sua imensa maioria, autoregressivos: geram a sequência um token de cada vez, prevendo o próximo com base nos anteriores. Esse esquema casou muito bem com a arquitetura Transformer, que permite treinamento paralelo eficiente via teacher forcing, e virou a receita escalável que nos trouxe até aqui.

A difusão parte de outro princípio. Em vez de construir a sequência elemento a elemento, o modelo aprende a reverter um processo de corrupção que destrói informação gradualmente, tipicamente adicionando ruído gaussiano até o sinal sumir. A técnica dominou a geração de imagem e vídeo. O problema é que ruído gaussiano é feito para dados contínuos, e linguagem é categórica: token é um conjunto sem ordem, não um sinal físico contínuo como a intensidade de luz de um pixel.

Há dois caminhos para contornar isso. A difusão discreta (DDLM) adapta o processo de corrupção para o espaço categórico. A difusão contínua (CDLM) faz o contrário: representa cada token por um vetor de embedding contínuo e aplica o ruído gaussiano ali, no espaço vetorial, reaproveitando toda a maquinaria já desenvolvida para imagem e vídeo.

A linha do tempo: ascensão e "extinção"

Dieleman organiza a história em fases claras:

O atrativo da abordagem contínua em 2022 era herdar de graça o ferramental de sampling e destilação da difusão audiovisual, que era difícil ou impossível de aplicar aos métodos discretos. Mas depois de 2023 a abordagem contínua sumiu dos papers, algo que um survey de 2025 mostra graficamente na transição de 2023 para 2024.

Dieleman levanta hipóteses para o sumiço, sempre marcando que é especulação. A principal: o "momento ChatGPT" deslocou o foco da pesquisa de vantagens teóricas e elegância para desempenho bruto e escala, e a comunidade apostou que fechar o gap para os autoregressivos seria mais fácil com métodos discretos, conceitualmente mais próximos da autoregressão. Um segundo fator foi um número duro: em maio de 2023, Gulrajani e Hashimoto mediram que o modelo contínuo Plaid-1B era 64x menos eficiente em treinamento que uma baseline autoregressiva, algo difícil de levar a sério numa época obcecada por otimalidade de compute (Chinchilla).

O que faz um CDLM funcionar

A parte técnica do post detalha os ingredientes que separam um CDLM que funciona de um que colapsa. Três decisões centrais:

• Estratégia de embedding: pode ser explícita (one-hot ou padrões binários compactos como no Analog Bits), pré-treinada (reaproveitando embeddings de um modelo autoregressivo ou de um BERT) ou aprendida em conjunto com o denoiser. O aprendizado conjunto é o mais elegante, mas Dieleman alerta que formulações ingênuas fazem os embeddings colapsarem (o erro de denoising é minimizado de forma patológica quando todos os embeddings ficam iguais) ou crescerem sem controle.
• Função de perda: MSE quando o denoiser prevê direto no espaço de embedding; cross-entropy categórica quando ele produz probabilidades sobre o vocabulário (o que aproxima o método do mundo autoregressivo, mas só funciona com vocabulário não muito grande).
• Noise schedule: para CDLMs isso é crítico. Como embeddings são vetores de alta dimensão representando categorias discretas, a corrupção significativa acontece numa faixa estreita de níveis de ruído. Gastar capacidade do modelo em níveis onde quase nada muda (ou tudo já virou ruído) é desperdício.

O autor também destaca o self-conditioning, um truque que aparece em quase todo paper da área e tem impacto enorme no desempenho. E lembra que boa parte das ideias mais engenhosas de restringir a difusão ao simplex de probabilidades acabou vingando mesmo foi em biologia, onde os vocabulários são minúsculos (V=4 para DNA, ~22 para aminoácidos), não em linguagem natural.

Por que isso interessa a quem constrói software

O argumento que sustenta o interesse prático é a geração não sequencial. Um modelo autoregressivo precisa de N passadas para N tokens; a difusão pode, em tese, refinar a sequência inteira em paralelo ao longo de poucos passos de denoising, o que abre caminho para menor latência por resposta. Dieleman aponta ainda duas vantagens que a abordagem contínua carrega: a capacidade de representar incerteza no nível do token individual e o rico arsenal de algoritmos de amostragem herdado da geração de imagem.

Vale a ressalva editorial: nada disso é produto disponível hoje, e a própria história do gap de 64x mostra que a promessa de eficiência ainda não se traduziu em vantagem prática comprovada em escala. Para o dev brasileiro, o valor imediato do texto é de mapa mental: entender que a geração token a token não é a única forma de construir um modelo de linguagem, e acompanhar uma frente que, se amadurecer, muda a economia de inferência de aplicações de linguagem natural.

O que a comunidade disse

No thread do Hacker News sobre o post, um comentário sintetizou bem o ponto:

"'Attention is all you need' should be renamed into 'Attention is sufficient but not necessary'."

amelius

Houve também contraponto à leitura histórica de Dieleman. O usuário janalsncm discorda de que a autoregressão ainda não fosse dominante em 2020/2021: "Decoders were absolutely dominant in 2020 for chat. GPT2 was considered too dangerous to release, and I remember scrambling to get on the GPT3 waitlist." Para ele, o que levou os chatbots ao mainstream não foi a arquitetura, e sim o RL (RLHF primeiro, depois DPO), e acrescentar difusão por cima disso seria, em suas palavras, "an even bigger pain in the ass".

Fontes: Hacker News · Reações no Hacker News