LLMs: estamos confundindo memória com aprendizado?
Em uma conversa sobre IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →, um amigo me lançou uma provocação interessante: “Se um LLM consegue usar contexto, recuperar experiências anteriores e incorporar informações recebidas depois do treinamento, isso não significa que ele já está aprendendo continuamente?”
A pergunta toca em um ponto importante na discussão sobre AGI: usamos a palavra “aprender” para fenômenos tecnicamente diferentes.
Um sistema baseado em LLM pode receber informação nova, armazená-la, recuperá-la posteriormente e adaptar seu comportamento. Isso pode ser chamado de aprendizado em determinados sentidos. Mas não equivale necessariamente ao que a literatura trata como continual learning: aprender a partir de uma sequência de experiências ao longo do tempo, preservando e integrando conhecimentos anteriores sem degradação significativa.
Memória externa ajuda a mostrar a diferença. Uma interação pode ser armazenada em um banco vetorial ou outro mecanismo de memória e recuperada meses depois para compor o contexto de uma nova inferência. O sistema se comporta de maneira diferente porque agora dispõe daquela informação.
É como consultar um caderno. Ele amplia aquilo que conseguimos fazer, mas adicionar páginas não demonstra, por si só, que nossa capacidade cognitiva mudou.
Isso não significa que memória externa seja irrelevante para aprendizado. Em uma arquitetura mais ampla, memória, atualização de políticas, estados persistentes, ferramentas e outros componentes podem participar de mecanismos adaptativos.
Portanto, a distinção não é simplesmente “os pesos mudaram ou não mudaram”. O ponto é mais sutil. Armazenar e recuperar uma experiência não demonstra, isoladamente, que o sistema extraiu dela uma mudança capaz de generalizar para experiências futuras.
O próprio in-context learning mostra como essas fronteiras são difíceis. LLMs conseguem adaptar seu comportamento a exemplos fornecidos no contexto sem atualizar parâmetros. Esse fenômeno é legitimamente chamado de aprendizado na literatura, mas é diferente de atualização paramétrica persistente e não resolve, sozinho, os desafios de continual learning.
Também existem fine-tuning, aprendizado online, edição de modelos e outras formas de atualização pós-treinamento. Portanto, afirmar que LLMs são incapazes de aprender depois do treinamento seria incorreto. O problema é fazer isso continuamente, preservando estabilidade, evitando interferência, catastrophic forgetting, incorporação de ruído e degradação de capacidades anteriores.
Um exemplo. Depois do treinamento, altere as regras do xadrez: agora o rei pode se movimentar como uma rainha. O sistema pode receber essa regra e jogar corretamente. Se ela for armazenada externamente, poderá recuperá-la posteriormente.
Isso demonstra memória e adaptação à nova informação. Mas, para investigar formas mais fortes de aprendizado contínuo, eu observaria pelo menos duas propriedades.
Persistência: mudanças produzidas pela experiência continuam influenciando o comportamento futuro, em vez de depender apenas da reapresentação daquela experiência?
Acumulação: experiências sucessivas produzem conhecimento ou capacidades que melhoram o desempenho em situações novas e servem de base para aprendizagens posteriores?
Não são testes universais de inteligência nem definições consensuais de AGI. São critérios úteis para distinguir recuperação de informação, adaptação contextual e aprendizado cumulativo.
É justamente aí que começa meu ceticismo com uma tese bastante comum: o sucesso do scaling observado nos LLMs seria evidência suficiente de que continuar escalando nos levará inevitavelmente à AGI.
Scaling já produziu capacidades extraordinárias. Mais parâmetros, melhores dados, novos regimes de treinamento, ferramentas e mais computação durante a inferência podem produzir outras.
Mas extrapolar essa tendência para concluir que ela necessariamente resolverá aprendizado contínuo, adaptação de longo prazo e acumulação de conhecimento é uma hipótese, não uma consequência demonstrada.
O argumento inverso também seria precipitado. Nada disso demonstra que LLMs sejam um beco sem saída. Uma eventual inteligência geral pode utilizar modelos de linguagem como componentes centrais de sistemas muito mais amplos, combinando memória, percepção, planejamento, ferramentas, interação com o ambiente e mecanismos de aprendizado ainda em evolução.
Minha posição é que não vejo hoje nenhuma evidência suficiente para afirmar que continuar escalando LLMs, sem mudanças relevantes nos mecanismos de aprendizado e na arquitetura do sistema, é condição suficiente para produzir AGI.
Pode até ser parte do caminho. Mas benchmarks medem principalmente aquilo que o sistema consegue fazer sob determinadas condições. Uma questão igualmente importante está depois do treinamento: quanto ele consegue ser transformado pela própria experiência e usar essa transformação para aprender o que vem depois?
LLMs maiores provavelmente continuarão nos surpreendendo. Mas, transformar esse sucesso empírico do scaling em uma conclusão inevitável sobre AGI, porém, ainda exige evidências que absolutamente não temos.
É CEO da Litteris Consulting. Profissional e estudioso de Tecnologia da Informação desde fins da década de 70, com educação formal diversificada, em Economia, mestrado em Ciência da Computação e MBA em Marketing de Serviços, e experiência profissional moldada pela passagem em empresas de porte mundial. Escreve constantemente sobre tecnologia da informação em publicações especializadas como CIO Magazine, Mundo Java, além do iMasters, e apresenta palestras em eventos e conferências de renome. É autor de sete livros que abordam assuntos como Software Livre, Grid Computing, Software Embarcado, Cloud Computing e Big data.
