AirLLM roda modelo de 70B em GPU de 4GB carregando uma camada por vez

O projeto open source AirLLM, mantido por Gavin Li (lyogavin/airllm no GitHub), afirma reduzir drasticamente o uso de memória em inferência de grandes modelos de linguagem, ao ponto de rodar um modelo de 70B em uma única GPU de 4GB sem quantização, destilação ou poda, segundo a documentação do repositório. O projeto acumula 26,5 mil estrelas e 2,9 mil forks no GitHub.

Como funciona

O ponto central, de acordo com o README, é que o AirLLM mantém apenas uma camada na GPU por vez. Assim, a VRAM necessária passa a depender do tamanho de cada camada, e não do tamanho total do modelo. É esse mecanismo que, segundo a documentação, permite acomodar modelos muito grandes em placas de consumo.

A tabela publicada no repositório lista os requisitos declarados:

• Modelos de ~8B (Qwen3, Mistral, Phi): ~1–2 GB
• Qwen3-30B / Mixtral (MoE): ~1–3 GB
• Qwen3-235B (MoE): ~3 GB
• Llama 3.x 70B (precisão total): ~4 GB
• Llama 3.1 405B: ~8 GB
• DeepSeek-V3 (671B): ~12 GB

O README também cita suporte, em atualização de julho de 2026, ao Kimi K3 (2.8T), descrito como o maior modelo open source lançado até então, com uso medido de 3,72 GB de VRAM em uma RTX 6000 Ada, graças a streaming por especialista em modelos MoE esparsos (carregando apenas os especialistas que um token efetivamente roteia).

O uso na prática

A instalação é feita via pip:

pip install airllm

A inferência segue o padrão da biblioteca transformers. Basta passar o repo ID do Hugging Face para o AutoModel:

from airllm import AutoModel
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

A mesma linha, segundo a documentação, serve para modelos maiores como Qwen3-235B-A22B e deepseek-ai/DeepSeek-V3. O projeto lista suporte às famílias Llama (2/3/3.1/3.3/4), Qwen, DeepSeek (V2/V3/R1), Mistral e Mixtral, Phi, Gemma, ChatGLM, Baichuan, InternLM e Yi.

Há um detalhe importante de infraestrutura destacado no próprio README: durante a inferência, o modelo original é decomposto e salvo camada por camada em disco. A documentação avisa que o processo é intensivo em espaço de armazenamento e recomenda garantir espaço suficiente no diretório de cache do Hugging Face. Para quem tem pouco disco, o parâmetro delete_original remove o modelo baixado original e mantém apenas a versão transformada.

Compressão opcional

Além do carregamento camada a camada, o projeto oferece uma compressão baseada em quantização por blocos, que a documentação diz acelerar a inferência em até 3x. Para habilitar, é preciso ter o bitsandbytes instalado e passar o argumento na inicialização:

model = AutoModel.from_pretrained(
 "garage-bAInd/Platypus2-70B-instruct",
 compression='4bit'  # ou '8bit'
)

Segundo o README, essa abordagem difere da quantização tradicional porque quantiza apenas os pesos, e não as ativações, já que o gargalo no caso do AirLLM está no carregamento a partir do disco.

O que isso muda para quem constrói no Brasil

Infraestrutura de GPU segue sendo um dos custos mais sensíveis para times brasileiros que experimentam com IA, seja por preço de hardware importado ou por contas de nuvem em dólar. Uma ferramenta que promete rodar modelos grandes em placas modestas pode abrir caminho para prototipagem e testes locais sem investimento pesado.

É importante ler os números da fonte pelo que eles são: o AirLLM troca VRAM por tempo e por disco. Como cada camada precisa ser carregada a partir do armazenamento durante a geração, a latência tende a ser bem maior do que em uma inferência convencional que mantém o modelo inteiro na GPU. O próprio projeto posiciona a técnica como forma de "escalar grandes modelos em computadores comuns de baixo custo", conforme a citação sugerida no BibTeX do repositório.

O código está sob licença Apache-2.0 e roda também em macOS com Apple Silicon, exigindo mlx e torch. Para avaliar se o trade-off compensa em cada cenário, o repositório traz notebooks de exemplo e uma seção de FAQ com os erros mais comuns, como falta de espaço em disco (MetadataIncompleteBuffer) e modelos gated que exigem token do Hugging Face.

Fonte: Hacker News