IA na borda no Raspberry Pi 5 com LiteRT e Gemma: o que o guia do Google mostra

O Google publicou um guia rodando a família Gemma via LiteRT num Pi 5, totalmente offline. Fui atrás da arquitetura e dos números pra ver o que serve pro maker e IoT no Brasil.

Edge AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → deixou de ser promessa de slide. O Google publicou em agosto de 2026 um guia mostrando a família Gemma rodando via LiteRT num Raspberry Pi 5, totalmente offline, e fui atrás pra entender o que a arquitetura promete pra quem constrói coisas com hardware barato aqui no Brasil.

Um aviso antes de você sair copiando comandos: os nomes de modelo e os comandos de CLI que aparecem neste texto são exatamente os que o post do Google traz. Não reproduzi o pipeline ponta a ponta num Pi físico, então trato os números como o que são (métricas reportadas pelo Google) e recomendo conferir a documentação oficial e o repositório na comunidade LiteRT do Hugging Face antes de baixar qualquer coisa. Nome de pacote e de repositório mudam rápido nesse ecossistema, e um 404 no meio do setup é frustração garantida.

Nota da redação: não conseguimos confirmar que o pacote pip "litert-cli" e a sintaxe exata do comando "litert lm run" citados abaixo existam tal como escritos; as ferramentas oficiais do Google AI Edge para LiteRT circulam sob outros nomes (como "ai-edge-litert" no PyPI ou via build própria do repositório LiteRT-LM). Também não foi possível confirmar a grafia "Gemma 4" para os sufixos E2B/E4B citada no texto; a nomenclatura pública desses modelos é "Gemma 3n". Trate nomes de pacote, repositório e comando como possivelmente desatualizados e confira sempre a documentação oficial antes de rodar qualquer coisa.

Por que borda importa (de verdade)

Rodar modelo local no Pi elimina três dores clássicas: latência de rede, dependência de nuvem e vazamento de dados. Pra IoT, robótica social e câmeras "espertas", isso não é luxo, é requisito. Sem internet estável no galpão? Sem problema. Dados sensíveis que não podem sair do dispositivo? Ficam no dispositivo.

O ponto-chave é o LiteRT, o runtime de inferência on-device do Google AI Edge, que roda tanto modelos clássicos de ML quanto LLMs. Por cima dele existe o LiteRT-LM, camada de orquestração focada em modelos de linguagem, com aceleração de CPU via XNNPACK.

A família Gemma na medida do Pi

O Google lista variações pensadas pra restrição de hardware. As menores servem de base pra tarefas específicas:

• Gemma 3 270M: base compacta pra fine-tuning de tarefa específica (análise de sentimento, extração de entidades).
• EmbeddingGemma 300M: embeddings on-device, ótimo pra RAG e busca semântica.
• Gemma 3 1B: texto multilíngue leve, bom pra sumarização e geração de conteúdo.

O post ainda cita dois modelos com os sufixos E2B e E4B, que o Google grafa como "Gemma 4". A ideia por trás desses sufixos é interessante: são modelos com embeddings por camada mapeados em memória (memory-mapped per-layer embeddings) pra economizar RAM, algo crítico em dispositivo restrito. O E2B é apresentado como o foco de monitoramento contínuo e inferência rápida de texto/imagem/áudio; o E4B, como o "ponto ótimo" entre raciocínio e tamanho. Antes de baixar, confira o nome exato do repositório na comunidade LiteRT no Hugging Face, porque é lá que está a fonte da verdade sobre a grafia atual do modelo.

Os números que interessam

Aqui é onde separo hype de realidade. Segundo o Google, num Pi 5 o modelo E2B entrega:

• 99 tokens/s no prefill
• 9 tokens/s no decode
• pico de memória de 1432 MB

O texto ainda cita um tokenizer eficiente (~4,2 caracteres por token) e uma geração ponta a ponta de ~27,3 caracteres/s no demo de voz do Reachy Mini, perto de 300 palavras por minuto (o Google compara com a fala humana normal, ~150 wpm). Vale um olhar crítico: 9 tokens/s a 4,2 caracteres por token daria ~37,8 caracteres/s, não 27,3. Ou tem overhead de pipeline não explicado, ou os números foram medidos em cenários diferentes. De qualquer forma, a ordem de grandeza sustenta o argumento: dá pra fazer tradução e resposta por voz em tempo real num Pi. Não é modelo de fronteira rodando local, mas pra tarefas focadas resolve.

CPU ou GPU: a jogada é dividir

Um detalhe de arquitetura que vale destacar. O CPU quad-core Cortex-A76 do Pi 5 dá ~153,6 GFLOPS (FP32) e até ~2,0 TOPS (INT8); a GPU VideoCore VII integrada, clocada a 800 MHz, fica em ~76,8 GFLOPS (FP32) e ~0,24 TOPS (INT8). A GPU é bem mais fraca, mas o Google habilitou inferência nela por um backend↳Back-end49 conteúdosIntegração front-end com backend: 7 decisões que evitam caos entre APIs, BFF e GraphQLDev (Back & Front) · abr 2026Como criar uma FAKE API REST para testes — JSONPlaceholderDev (Back & Front) · set 2025Construindo um aplicativo de bate-papo de IA simples com Spring AI e AngularDev (Back & Front) · jul 2025Ver tudo em Dev (Back & Front) → WebGPU (que roda sobre Vulkan no Linux↳Linux34 conteúdosKali Linux em um Servidor VPS: como, quando e por que usar?DevSecOps · dez 2024Construindo um Windows Service ou Linux Daemon com Worker Service & .NET Core – Parte 2Dev (Back & Front) · jul 2020Criando uma WebApi utilizando .NET, Linux e VSCodeDev (Back & Front) · ago 2019Ver tudo em DevSecOps →) via ML Drift.

A sacada não é escolher um ou outro, é paralelizar. No pipeline do robô Reachy Mini, a detecção de objetos (Ultralytics YOLO) roda na GPU de forma contínua, enquanto reconhecimento de fala (Moonshine), raciocínio (o LLM Gemma) e TTS ficam no CPU. Assim a visão não briga por ciclos com o LLM, o que o Google chama de execução paralela heterogênea, e o sistema mantém eficiência térmica, que num Pi importa muito.

Setup: o caminho que o Google indica

O post apresenta um LiteRT CLI que agrega conversão, quantização, benchmark e inferência num conjunto único de comandos, em vez de você juntar várias bibliotecas na mão. A instalação sugerida é via pip, de preferência num virtualenv:

pip install litert-cli

Depois, o exemplo roda o modelo direto do Hugging Face passando seu token de autenticação:

export HUGGING_FACE_HUB_TOKEN=<seu_token_aqui>
litert lm run \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --attachment=image.jpg \
  --prompt="You are Reachy Mini. Identify the main object in front of you, state its location (Left/Right/Center), and suggest head action in 10 words or less."

Minha recomendação: antes de reproduzir, valide na documentação oficial do LiteRT (site do desenvolvedor Google AI Edge) se o nome do pacote e a sintaxe estão iguais aos do post, e confira o nome exato do repositório do modelo na comunidade LiteRT do Hugging Face. Nome de pacote e de repo são justamente o que mais varia entre um anúncio e a versão publicada.

O espírito do exemplo, esse sim vale reter: o modelo recebe uma imagem, identifica o objeto principal, diz a posição (esquerda/direita/centro) e sugere uma ação, tudo em poucas palavras. É o cérebro do Reachy Mini condensado numa chamada multimodal.

Footprint enxuto e o que vem por aí

Pra IoT, tamanho de binário é dinheiro. O Google argumenta que runtimes genéricos de IA arrastam dependências pesadas de desktop/servidor, enquanto o LiteRT é modular e projetado pra deploy on-device, o que faz diferença em disco e memória de dispositivos restritos.

O post também anuncia integração futura com os aceleradores Hailo, prometendo offload de inferência pro Raspberry Pi AI HAT+ e AI HAT+ 2 usando o mesmo workflow LiteRT. É roadmap, não algo pra usar hoje, mas indica que quem montar o pipeline agora tende a ganhar aceleração de hardware depois sem reescrever tudo.

Encare o guia como mapa de arquitetura, ótimo, mais do que como tutorial copiável linha a linha. O conceito (paralelizar CPU/GPU, rodar LLM leve offline num Pi) é sólido e reprodutível; a superfície de comandos é que pede conferência na fonte oficial antes do git clone.

Fonte: Google Developers Blog