Por que ainda não temos modelos de fundação para física

"Temos modelos de fundação para linguagem, não para física." A frase de Anima Anandkumar, professora do Caltech, resume uma tensão que raramente aparece nas discussões sobre IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → que giram em torno de LLMs. No episódio do podcast Latent Space, ela explica por que a fórmula que fez GPT e companhia decolarem simplesmente não se aplica a sistemas físicos contínuos como clima, plasma de fusão e escoamento de fluidos, e por que isso exige uma engenharia de ML diferente da que a maioria dos devs pratica hoje.

A escala não resolve tudo

A aposta dominante em IA nos últimos anos é o que a comunidade chama de bitter lesson: joga mais dados e mais compute em cima de um transformer e o modelo melhora. Para linguagem, funciona, porque tokens de texto existem aos trilhões na internet. Para física, o jogo é outro por dois motivos concretos.

Primeiro, os dados não existem na escala necessária. Datasets abertos em muitos desses domínios têm dezenas ou centenas de milhares de exemplos, longe da fome de tokens de um transformer grande. Segundo, e mais grave, a resolução que a física exige estoura qualquer janela de contexto viável. Anandkumar dá o número: "se cada dimensão tiver mesmo que umas poucas centenas de pontos de grade, que é onde a escala industrial começa... estamos falando de contexto de centenas de bilhões a até um trilhão. Esqueça ter um transformer para qualquer coisa nessa escala, todo o compute do mundo não seria suficiente."

Ou seja, não é que falta GPU. É que a abordagem de força bruta é matematicamente inviável para o problema. O caminho, segundo ela, passa por embutir estrutura e vieses indutivos (inductive biases) que a física já oferece de graça, em vez de esperar por dados que nunca vão aparecer.

Neural Operators: aprender funções, não grades

A técnica central do trabalho de Anandkumar são os Neural Operators. A ideia, elegante, é parar de modelar uma grade discreta de valores e passar a modelar uma função que evolui em múltiplas escalas. Cada camada da rede, em vez de mapear vetores para vetores, mapeia funções para funções. Isso permite entradas e saídas em resoluções diferentes e a incorporação de conhecimento físico como prior.

O exemplo mais didático é a previsão do tempo em escala global. A Terra é (quase) uma esfera. Rodar um modelo de clima numa grade cartesiana comum faz o erro explodir rápido. Ao trabalhar na base natural do problema, os harmônicos esféricos (spherical harmonics), o modelo permanece estável por muito mais tempo, o suficiente para projetar meses à frente em vez de dias. O Fourier Neural Operator aprende diretamente no domínio de frequência, e sua variante esférica alimenta o FourCastNet 3, que modela o clima do planeta inteiro e roda de forma estável muito longe no futuro.

O ponto prático que interessa a quem constrói: o FourCastNet nasceu justamente do ceticismo. Quando Anandkumar decidiu criar o primeiro modelo de clima open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → com IA, especialistas disseram que era inviável, clima é caótico, simulações físicas levaram décadas para amadurecer e exigem supercomputadores. Em cerca de um ano, o time entregou um modelo competitivo com as melhores simulações baseadas em física, e que hoje permite prever o tempo em curto prazo usando GPUs de consumidor. Essa é a virada que importa: derrubar o custo computacional da inferência de sistemas físicos de supercomputador para hardware acessível.

O mundo físico é mais tolerante do que parece

Outra observação contraintuitiva do trabalho: sistemas físicos exigem menos dados do que se imagina, desde que a estrutura certa esteja embutida. No caso de fusão nuclear, alguns milhares de amostras bastam para prever disrupções de plasma, e o modelo faz isso cerca de um milhão de vezes mais rápido que a simulação tradicional.

Esse ganho de velocidade não é detalhe acadêmico. Prever a disrupção de um plasma em tempo real é o tipo de coisa que só faz sentido se couber num loop de controle, e um loop de controle não espera por um supercomputador. É aqui que Neural Operators deixam de ser curiosidade matemática e viram infraestrutura de engenharia.

Vale a ressalva de honestidade que a própria fonte faz: nada disso é rejeição da escala, é uma rota diferente até ela. Anandkumar ainda quer chegar a um "modelo de fundação para física", capaz de abranger muitos fenômenos e fazer tanto simulação quanto projeto de novos sistemas. A diferença é que se chega lá construindo estrutura, não empilhando tokens. E vai demorar mais que a parte da IA movida a texto, porque "para o mundo físico, tokens nunca foram a resposta".

Verificar redes neurais formalmente

Um desdobramento pouco comentado, mas relevante para quem pensa em colocar redes neurais em sistemas críticos, é o TorchLean. É um framework que permite escrever redes no estilo PyTorch dentro do assistente de provas Lean e verificá-las formalmente. Traduzindo: em vez de confiar só em métricas de teste, dá para provar limites (bounds) sobre o comportamento da rede.

A motivação é direta. Se você vai colocar uma rede neural dentro do loop de controle de um reator de fusão, testar em dataset de validação não basta, você precisa de garantias matemáticas de que a rede não vai se comportar fora de faixa. TorchLean é um passo nessa direção, e aponta um futuro em que verificação formal e deep learning conversam, algo hoje quase inexistente na prática da indústria.

O que isso muda para o dev brasileiro

O recado para quem faz ML no Brasil é que existe uma fronteira inteira fora da bolha de LLMs, agentes e RAG, e ela é menos saturada. Dois pontos concretos:

• Barreira de entrada de dados é menor. Se sistemas físicos aprendem com milhares (não trilhões) de exemplos quando a estrutura certa é embutida, grupos acadêmicos e empresas sem acesso a data centers gigantes têm chance real de contribuir. O gargalo deixa de ser "quem tem mais dados e GPU" e passa a ser "quem entende a matemática do domínio".

• Aplicações locais óbvias. Previsão climática de curto prazo em GPU de consumidor tem uso direto no agronegócio, em energia (hidrelétricas dependem de vazão) e em gestão de desastres. Modelagem de fluidos e calor aparece em indústria, óleo e gás e saneamento. São problemas em que o Brasil tem dados próprios e demanda real, e onde um modelo genérico treinado em outro lugar não serve.

A contrapartida honesta: essa área cobra um pré-requisito matemático que a stack de aplicação de IA não cobra. Análise de Fourier, harmônicos esféricos, equações diferenciais parciais e teoria de operadores não são opcionais aqui. Quem só sabe chamar API de modelo e montar pipeline de RAG não entra nesse jogo sem estudar. É, nas palavras do próprio Latent Space, um belo nerd snipe para quem tiver um bloco grande de tempo, mas é precisamente por isso que ainda há espaço.

O episódio também registra que Anandkumar foi nomeada para o Conselho Consultivo Científico da ONU, com a meta de levar visões baseadas em evidência para a formulação de políticas públicas de IA aplicada à ciência. Um sinal de que a modelagem de sistemas físicos com IA está saindo do laboratório e entrando na conversa de infraestrutura global, ainda que num ritmo mais lento e mais estruturado que a corrida dos LLMs.

Fonte: Latent Space