O resumo que nunca existiu…

Me perguntaram como um LLM consegue resumir um documento. A resposta parece simples, mas, quando olhamos para dentro do modelo, ela fica bem mais interessante.

A primeira ideia que precisamos abandonar é a de que o LLM funciona como um editor tradicional. Quando pedimos um resumo, nossa intuição costuma imaginar um processo como este: o sistema identifica os parágrafos mais importantes, elimina os detalhes secundários e reorganiza o restante em um texto menor.

Essa descrição pode representar alguns sistemas clássicos de sumarização, especialmente os baseados em extração de trechos. Mas não descreve adequadamente como um LLM generativo normalmente produz um resumo.

Em um LLM, o documento e a instrução são convertidos em tokens e processados pela arquitetura do modelo. Ao longo das camadas do Transformer, as representações desses tokens são transformadas pelo processamento da rede e pelo mecanismo de atenção, permitindo que o modelo estabeleça relações entre diferentes partes do contexto disponível.

É importante, porém, não transformar essa explicação em uma metáfora excessivamente antropomórfica. O modelo não constrói necessariamente uma lista explícita de “ideias principais”, nem mantém internamente um mapa conceitual legível semelhante ao que um ser humano poderia produzir. O que existe são estados e representações numéricas distribuídas, produzidos pelo processamento da rede, que permitem ao modelo calcular quais continuações de texto são mais compatíveis com o contexto e com a tarefa solicitada.

Depois começa a etapa de geração. O modelo produz uma distribuição de possíveis próximos tokens e seleciona um deles de acordo com a estratégia de decodificação utilizada. O token escolhido passa a fazer parte do contexto e influencia a escolha seguinte. E assim sucessivamente. O resumo, portanto, normalmente não é simplesmente “extraído” do documento. Ele é gerado condicionadamente ao documento e à instrução recebida.

Essa distinção explica uma característica importante: um bom resumo pode conter frases que nunca apareceram literalmente no documento original. Isso, por si só, não caracteriza uma alucinação.

Se o documento afirma que determinada empresa aumentou sua receita em 20%, por exemplo, o modelo pode resumir isso como “a empresa apresentou forte crescimento de receita”. Essa frase não estava no documento, mas pode representar adequadamente sua informação.

O problema começa quando a reformulação deixa de preservar o significado original. Como o modelo está gerando uma nova sequência de tokens, ele pode introduzir uma relação que não estava no documento, eliminar uma ressalva importante, alterar uma condição ou transformar uma afirmação qualificada em uma generalização.

Nesse ponto temos um risco real de erro factual ou de distorção semântica. E existe um paradoxo interessante: quanto mais agressiva for a compressão, maior pode ser o risco de perda de informação.

Resumir dez páginas em cinco páginas permite preservar muitas nuances. Resumir as mesmas dez páginas em três frases exige muito mais seleção, generalização e condensação. Quanto maior a compressão, maior a possibilidade de que detalhes importantes desapareçam ou sejam reinterpretados.

Outro fator relevante é o tamanho e a natureza do documento. Textos ambíguos, altamente técnicos, contraditórios ou muito extensos podem aumentar a dificuldade da tarefa. Em documentos maiores do que o contexto efetivamente processável em uma única etapa, o sistema pode precisar dividir, recuperar ou processar o conteúdo em múltiplas etapas. Nesse caso, a qualidade do resumo dependerá também da estratégia utilizada para organizar essas etapas.

Por isso, em aplicações críticas, como documentos jurídicos, regulatórios, científicos ou médicos, não deveríamos tratar o resumo produzido por um LLM como uma transcrição confiável do documento.

Existem técnicas para reduzir riscos: instruções que restringem a resposta ao conteúdo fornecido, citações ou referências aos trechos utilizados, processamento estruturado, comparação posterior com o documento original e avaliações automáticas e humanas. Essas técnicas podem aumentar bastante a confiabilidade, mas não transformam o processo em uma garantia absoluta de fidelidade.

Também é importante corrigir outra simplificação frequente: dizer que LLMs são simplesmente “probabilísticos” não significa que suas respostas sejam necessariamente aleatórias.

A geração pode utilizar amostragem, produzindo diferentes resultados em execuções distintas, mas também pode utilizar estratégias determinísticas de decodificação. O comportamento depende da arquitetura, da implementação e das configurações utilizadas.

Um LLM não funciona como alguém que primeiro lê conscientemente um documento, identifica suas ideias principais e depois escreve um resumo. Ele processa uma representação numérica do contexto e, a partir dela, gera uma sequência de tokens condicionada pelo documento, pela instrução e pelas demais condições de geração.

É justamente isso que torna a tecnologia tão poderosa. O modelo consegue produzir uma nova formulação que preserva grande parte do significado do texto original sem simplesmente copiar suas frases.

Mas é também a origem de sua fragilidade. O mesmo mecanismo que permite ao LLM sintetizar informação também permite que ele introduza informação que não estava lá.

Essa é uma das melhores formas de compreender a natureza dos LLMs: eles não são máquinas de copiar e condensar textos. São máquinas de geração condicionada. E isso muda completamente a forma como devemos avaliar seus resumos. É nessa diferença entre parecer correto e ser verificavelmente correto que começa a verdadeira engenharia de aplicações com LLMs.