Temperatura: o “botão” mais mal compreendido dos LLMs

Mais um post da série em que destrincho as entranhas dos LLMs. Já conversamos sobre embeddings, mecanismo de atenção, janela de contexto, KV Cache e Mixture of Experts. Hoje vamos abordar um conceito que aparece em praticamente toda interface de IA generativa, mas que poucas pessoas realmente entendem: temperatura.

É comum ouvir frases como “aumente a temperatura para deixar a IA mais criativa” ou “reduza a temperatura para obter respostas mais precisas”. Embora essas recomendações sejam úteis na prática, elas simplificam bastante o que realmente acontece dentro de um grande modelo de linguagem.

A temperatura não altera o conhecimento armazenado pelo modelo, seus parâmetros nem aquilo que ele aprendeu durante o treinamento. Ela atua apenas no processo de geração dos tokens. Em outras palavras, não muda o que o modelo “sabe”; modifica apenas como ele escolhe entre as diferentes continuações que considera plausíveis.

Nos posts anteriores vimos que um LLM gera texto prevendo, token após token, qual é a continuação mais provável dado o contexto disponível.

Antes de calcular essas probabilidades, entretanto, o modelo produz um conjunto de valores numéricos chamados logits. Eles não representam probabilidades. São apenas pontuações relativas atribuídas a cada possível próximo token.

Em seguida, esses logits passam por uma transformação matemática, normalmente a função softmax, que os converte em uma distribuição de probabilidades cuja soma é igual a 1.

É exatamente antes dessa transformação que a temperatura atua. Matematicamente, ela divide os logits por um fator chamado temperatura antes da aplicação da softmax.

Na prática, temperaturas baixas tornam a distribuição mais concentrada nos tokens inicialmente mais favorecidos pelo modelo. Temperaturas mais altas tornam essa distribuição mais dispersa, aumentando a participação relativa de outras alternativas plausíveis. Isso não significa que qualquer palavra possa aparecer. Mesmo com temperaturas elevadas, tokens extremamente improváveis continuam tendo probabilidade muito pequena.

O que muda é o equilíbrio entre alternativas que o próprio modelo já considera compatíveis com aquele contexto. Esse ponto ajuda a desmontar um mito bastante difundido: temperatura alta não faz o modelo “inventar” conhecimento novo. Ela apenas aumenta a diversidade das escolhas dentro do espaço de possibilidades aprendido durante o treinamento.

Outro aspecto pouco comentado é que muitos LLMs não selecionam simplesmente o token mais provável. Dependendo da configuração, utiliza-se sampling, no qual o próximo token é sorteado segundo a distribuição de probabilidades produzida pelo modelo. Tokens mais prováveis possuem maior chance de serem escolhidos, mas alternativas menos prováveis também podem aparecer.

Entretanto, isso não acontece em todos os sistemas. Algumas aplicações utilizam geração determinística (greedy decoding), enquanto outras empregam estratégias como beam search. A escolha depende dos requisitos da aplicação.

A temperatura também costuma atuar em conjunto com outros mecanismos de amostragem, especialmente Top-k e Top-p (nucleus sampling).

O Top-k limita a escolha aos k tokens mais prováveis. Já o Top-p seleciona dinamicamente apenas os tokens necessários para atingir uma determinada probabilidade acumulada. Quando poucas alternativas concentram quase toda a probabilidade, o conjunto é pequeno. Quando a incerteza aumenta, esse conjunto cresce automaticamente.

Esses mecanismos possuem objetivos diferentes. A temperatura altera a distribuição de probabilidades. O Top-k e o Top-p restringem quais candidatos poderão participar da escolha. Quando há amostragem, o token seguinte é então selecionado dentro desse conjunto.

É justamente essa combinação que produz o equilíbrio entre previsibilidade e diversidade observado nos modelos modernos.

Em aplicações como programação, cálculos, extração estruturada de dados ou qualquer tarefa que exija elevada reprodutibilidade, normalmente utilizam-se temperaturas baixas ou até geração determinística.

Já em tarefas criativas, brainstorming ou produção de alternativas, distribuições menos concentradas tendem a produzir respostas mais variadas.

Muitas pessoas associam temperatura diretamente à criatividade do modelo. Na realidade, a criatividade percebida depende principalmente da qualidade do modelo, do conhecimento adquirido durante o treinamento, da arquitetura utilizada, do contexto fornecido e da formulação da tarefa.

A temperatura apenas controla como esse conhecimento será explorado durante a geração. Ela não adiciona conhecimento novo, não melhora o raciocínio do modelo nem corrige suas limitações.

Uma analogia útil é imaginar uma eleição. Os candidatos continuam exatamente os mesmos. A temperatura não cria novos candidatos. Ela apenas altera o quanto os favoritos concentram as intenções de voto. Com temperatura baixa, poucos candidatos dominam a disputa. Com temperatura mais alta, parte dessa preferência é redistribuída entre outros candidatos competitivos.

Nos LLMs ocorre algo semelhante. O conjunto de possíveis próximos tokens permanece praticamente o mesmo. O que muda é a distribuição relativa de probabilidade entre eles antes da seleção.

No fundo, esse é um dos aspectos mais elegantes dos grandes modelos de linguagem. Eles não funcionam procurando uma única resposta “correta”. Funcionam navegando continuamente por distribuições de probabilidade aprendidas durante o treinamento.

Temperatura, Top-k e Top-p são apenas alguns dos mecanismos que controlam como essas distribuições serão exploradas. E tudo isso acontece token após token.

O modelo não planeja antecipadamente todo o texto que irá produzir. A cada novo token gerado, recalcula uma nova distribuição considerando todo o contexto disponível naquele instante, inclusive os próprios tokens que acabou de escrever.

É justamente essa sucessão de decisões probabilísticas locais que faz emergir uma resposta coerente.

Essa é, na minha opinião, uma das diferenças mais profundas entre software tradicional e grandes modelos de linguagem: enquanto programas determinísticos seguem um fluxo previamente definido, um LLM constrói sua resposta navegando continuamente por um espaço de possibilidades estatísticas, equilibrando previsibilidade, diversidade e coerência a cada novo token.