TorchTPU: Google e Meta abrem backend nativo do PyTorch para TPUs

O que é o TorchTPU

TorchTPU é um projeto de código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → desenvolvido pelo Google em colaboração com a Meta que entrega um backend nativo do PyTorch para os TPUs (Tensor Processing Units) do Google. O anúncio saiu em 2 de novembro de 2026, segundo reportagem do InfoQ. A proposta é rodar cargas de trabalho em PyTorch nos chips do Google com o mínimo de modificação de código, suportando execução eager e compilada, computação distribuída e otimizações específicas de hardware.

Para quem desenvolve em PyTorch, isso historicamente significava escolher entre GPU (ecossistema maduro, caro) ou TPU (barato em escala, mas cheio de fricção de adoção). O TorchTPU ataca diretamente essa fricção.

Por que o PyTorch/XLA não bastava

O Google já tentava resolver isso desde 2020, via PyTorch/XLA, apoiado em JAX, XLA e lazy tensors. Mas o próprio Google reconhece que essa abordagem tinha problemas sérios.

Crucialmente, o PyTorch/XLA exigia modificações intrusivas no código-fonte para definir explicitamente regiões compiláveis, sofria de latência severa no tempo de compilação, não suportava o modo de execução imperativa ("eager") nativo do PyTorch e ficava atrás no suporte a primitivas emergentes de computação distribuída dentro do ecossistema PyTorch.

Google, anúncio oficial do TorchTPUCrucially, PyTorch/XLA required intrusive source-code modifications to explicitly define compilable regions, suffered from severe compile-time latency, lacked support for PyTorch's native imperative ("eager") execution mode, and lagged in supporting emerging distributed computing primitives within the PyTorch ecosystem.

Na prática, portar um projeto PyTorch existente para TPU dava trabalho: era preciso reescrever o código em volta das regras do XLA e aceitar que iterar (treinar, testar, ajustar) ficava mais lento que na GPU. Para muita equipe, esse custo de migração inviabilizava usar TPU mesmo quando o preço por hora de computação era mais baixo.

Como migrar código de GPU para TPU

TorchTPU inverte a prioridade: execução eager vem em primeiro lugar, e cargas de trabalho PyTorch existentes devem rodar com alterações mínimas. Migrar de GPU para TPU, segundo o Google, envolve trocar o device de cuda para tpu e o backend distribuído de nccl para tpu_dist.

import torch
import torch.distributed as dist

def main():
    device = torch.device("cuda")  # -> device = torch.accelerator.current_accelerator
    dist.init_process_group(backend="nccl")  # -> dist.init_process_group()
    rank = dist.get_rank()
    world_size = dist.get_world_size()
    ...
    model = model.to(device)

Alternativa: usar a nova API torch.accelerator.current_accelerator para detectar automaticamente qual acelerador está disponível, sem hardcodar cuda nem tpu no código. Isso importa pra quem mantém pipeline de treino que precisa rodar tanto em GPU quanto em TPU conforme a disponibilidade de cada provedor.

Os três modos de execução eager

O TorchTPU suporta três modos: strict, debug e DeferAndFuse. Este último é um modo híbrido eager/compilado inédito que o Google afirma ser 50% ou mais rápido que o modo strict eager, reduzindo o pico de uso de memória HBM. Na prática, o DeferAndFuse tenta capturar o melhor dos dois mundos: a praticidade de debugar passo a passo do modo eager com parte do ganho de performance que normalmente só vem da compilação antecipada.

Testando contra 5.000 modelos do Hugging Face

Para validar que o TorchTPU roda modelos PyTorch existentes sem modificação, o Google montou um pipeline de integração que avaliou cerca de 5.000 modelos do Hugging Face, cobrindo mais de 500 arquiteturas, em modo eager e compilado, em gerações de hardware TPU a partir do v5e.

A metodologia de seleção dos modelos combinou adoção real de mercado com diversidade arquitetural, evitando testar repetidamente variações menores de um mesmo modelo e garantindo que pesos de produção de fato fossem avaliados.

Os números dos benchmarks

Para medir desempenho, o Google rodou o Muse Glimmer, modelo de 30 bilhões de parâmetros implementado em PyTorch padrão. Em um único chip TPUv7, a inferência atingiu 25.700 tokens/s com sequência de 5.120 tokens e 22.400 tokens/s com sequência de 10.240 tokens. Em treino, usando quatro chips TPUv7, o throughput ficou em 5.600 tokens/s e 4.600 tokens/s, respectivamente, para os mesmos dois comprimentos de sequência.

Também houve testes com o Qwen3 MoE 235B, com treino escalando de 1.024 a 8.192 chips TPUv7. Para inferência, o Google reportou desempenho por dólar competitivo em cargas de trabalho MoE de grande escala usando vLLM.

O que isso significa pro bolso do dev brasileiro

Esse é o ponto que mais interessa quem trabalha fora do Vale do Silício: custo de infraestrutura para treinar e rodar modelos. GPU de ponta é escassa e cara, e no Brasil isso se soma a câmbio e imposto de importação quando a conta cai pra hardware local. TPU sempre foi mais barato por hora na Google Cloud↳Google Cloud13 conteúdosPrograma da Google Cloud no Brasil projeta formar de forma gratuita 30 mil universitáriosDev (Back & Front) · mar 2026Google Cloud OnBoard capacita estudantes e desenvolvedores de TIGestão Dev & TI · mai 2019Desenvolvedores poderão participar de treinamento gratuito do Google CloudGestão Dev & TI · mai 2019Ver tudo em DevSecOps →, mas a barreira de portar código PyTorch pra lá consumia boa parte da economia em tempo de engenharia.

Com o TorchTPU, a migração proposta pelo Google é de poucas linhas: trocar cuda por tpu, nccl por tpu_dist, ou usar a API de detecção automática. Isso baixa o custo de experimentar: equipe pequena, startup ou time acadêmico no Brasil pode rodar o mesmo checkpoint que já roda em GPU dentro do Google Cloud Platform sem reescrever o pipeline de treino do zero.

Vale o alerta: o ganho de custo depende de o preço por hora do TPU na região escolhida compensar a curva de aprendizado de uma peça nova no stack, ainda em estágio inicial. Disponibilidade de TPU para contas no Brasil via Google Cloud não é garantida em toda região.

O contexto por trás do TPU como negócio

Além de vender TPU via Google Cloud Platform, o Google também vende os chips para clientes corporativos rodarem on-premises, segundo usuários do Hacker News que comentaram o anúncio. Entre os clientes citados estão a Anthropic e, potencialmente no futuro, a própria Meta. Isso dá outra camada ao movimento: a Meta, dona do PyTorch e historicamente associada a infraestrutura Nvidia, ajudar a destravar TPU é também abrir um fornecedor alternativo de hardware de IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → pra si mesma.

A recepção na comunidade foi favorável. Um usuário identificado como tingkuanpei resumiu o sentimento geral:

Trabalho muito interessante. O Google deveria ter feito isso há muito tempo. O ecossistema do PyTorch é simplesmente muito rico.

tingkuanpei, usuário do Hacker NewsVery interesting work. Google should have done this a long time ago. PyTorch's ecosystem is just so rich.

O que ainda falta

TorchTPU está em estágio inicial e, segundo o próprio Google, em evolução contínua. O roadmap público inclui trabalho em shapes dinâmicos, performance de compilação, cobertura de operadores, aprendizado por reforço e quantização. Para quem já usa PyTorch em produção e considera migrar parte da carga para TPU, isso quer dizer testar com cautela: nem toda arquitetura ou operador customizado tem garantia de suporte completo hoje.

O código está disponível como projeto open source, o que permite à comunidade, inclusive times brasileiros, contribuir com correções e cobertura de operadores em vez de esperar só pelo cronograma do Google.

Fonte: InfoQ