Nesse fim de semana investi na leitura do paper da Anthropic sobre o chamado Jacobian Lens (J-Lens). É um trabalho fascinante, tecnicamente sofisticado e, ao mesmo tempo, um daqueles estudos que facilmente podem ser interpretados de forma exagerada. Recomendo sua leitura para quem quer entender melhor como pesquisadores estão tentando abrir a “caixa-preta” dos LLMs.

Antes de tudo, é importante esclarecer um ponto: o objetivo do paper não é demonstrar que modelos de IA possuem consciência. O foco é interpretabilidade: entender como representações internas de um modelo influenciam seu comportamento.

O trabalho apresenta um método para investigar como mudanças nas ativações internas de Claude influenciam as probabilidades dos próximos tokens gerados pelo modelo.

Mas o que são essas ativações internas? Um LLM não trabalha diretamente com palavras, conceitos ou significados da mesma forma que humanos. O texto é convertido em representações matemáticas, vetores, que passam por diversas camadas da rede neural. Em cada etapa, essas representações são transformadas, criando estados intermediários chamados de ativações.

O desafio da interpretabilidade é justamente entender se esses estados matemáticos possuem alguma relação identificável com conceitos que humanos conseguem compreender.

É nesse contexto que surge o J-Lens. De forma simplificada, ele tenta criar uma ponte entre os estados internos da rede neural e conceitos interpretáveis. A partir dessa técnica, os pesquisadores descrevem o chamado J-space: um conjunto de representações internas que parecem estar fortemente associadas a conceitos que o modelo consegue expressar por meio da linguagem.

Os experimentos mostram algo realmente interessante. O J-space parece capturar padrões relacionados a planejamento, etapas intermediárias de processamento, conflitos, segurança e conceitos autorreferenciais.

Em um dos experimentos, os pesquisadores utilizam frases como:

“A capital da França é…”

“A maioria das pessoas na França fala…”

“A França está localizada no continente…”

Depois, realizam uma intervenção interna no modelo, substituindo uma representação associada ao conceito “França” por outra associada ao conceito “China”.

O resultado é impressionante: o comportamento do modelo muda de forma coerente, passando a produzir respostas relacionadas a Pequim, chinês, Ásia e outros elementos associados à China.

Isso é uma descoberta importante. Ela sugere que modelos de linguagem possuem padrões de representação interna flexíveis que funcionam como estados intermediários capazes de influenciar diferentes processos dentro da rede.

Mas isso não significa consciência. E aqui está o ponto em que o debate frequentemente dá um salto maior do que as evidências permitem. Uma representação causal não é o mesmo que uma experiência subjetiva.

Se trocarmos as rodas de um carro por asas e ele passar a se comportar de forma diferente, isso não significa que o carro ganhou consciência ou que as rodas eram sua “mente”. Significa apenas que alteramos um componente funcional relevante do sistema.

Da mesma forma, se substituir uma representação interna altera o comportamento do modelo de maneira consistente, demonstramos algo extremamente relevante: encontramos uma estrutura causal dentro da arquitetura. Mas não demonstramos experiência, não demonstramos subjetividade e não demonstramos consciência.

É importante destacar que os próprios autores são cuidadosos nesse ponto. O paper não afirma provar que modelos de IA possuem experiências conscientes. A contribuição está principalmente em investigar mecanismos funcionais de representação e processamento, inclusive explorando conexões com ideias semelhantes às da Global Workspace Theory.

Essa teoria, na neurociência cognitiva, sugere que a consciência humana envolve informações relevantes sendo disponibilizadas para múltiplos processos cognitivos. A pesquisa da Anthropic investiga uma possível analogia funcional: se determinados estados internos de um modelo são acessíveis e influenciam diferentes operações dentro da rede.

Mas existe uma diferença fundamental entre disponibilidade funcional de informação e experiência subjetiva.

Um sistema pode processar informações, integrar representações e modificar seu comportamento sem necessariamente possuir uma perspectiva interna ou uma experiência consciente.

É justamente aqui que entra meu questionamento sobre a linguagem usada para descrever esses fenômenos. Termos como “pensamento interno”, “autorreferência”, “perspectiva” e “reflexão” podem ser úteis como metáforas computacionais, mas carregam uma bagagem conceitual humana que pode induzir interpretações equivocadas.

Um modelo pode representar o conceito de “eu” sem possuir identidade. Pode modelar conflitos sem vivenciá-los. Pode produzir descrições de experiências sem ter experiências.

A maior contribuição do J-Lens talvez não seja aproximar a IA da consciência, mas nos ajudar a compreender melhor como sistemas extremamente complexos transformam informação em comportamento.

Isso é cientificamente valioso. Mas precisamos preservar uma distinção fundamental: Representação não é experiência, comportamento não é consciência e simulação de perspectiva não é ter uma perspectiva.

O J-Lens abre uma janela fascinante para os mecanismos internos dos modelos. Mas uma janela não é uma mente. Claude está ficando mais compreensível do ponto de vista da engenharia. Isso não significa que ele esteja consciente.