AIARTIGO

AI Gateway da Vercel unifica modelos privados e modelos de catálogo numa só API

AI Gateway da Vercel unifica modelos privados e modelos de catálogo numa só API
Imagem gerada por IA
Artigo · AI
Leitura
5 min
Código
2
Fontes
1
Em resumo

O recurso Private Inference do AI Gateway permite plugar endpoints fine-tuned, self-hosted ou em prerelease na mesma autenticação, SDKs e observabilidade usadas para modelos do catálogo da Vercel.

O que muda: um gateway só para tudo

Até pouco tempo, times que mantinham modelos fine-tuned, self-hosted ou em prerelease precisavam de uma infraestrutura paralela: chaves de API separadas, código cliente próprio e um pipeline de logs isolado do resto do stack. Era o preço de sair do catálogo pronto de um provedor.

O AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → Gateway da Vercel passou a oferecer o recurso Private Inference, que conecta esses endpoints próprios à mesma camada de autenticação, SDKs e APIs, e observabilidade↳Observabilidade11 conteúdosObservabilidade para APIs: os desafios e benefícios dessa abordagemDev (Back & Front) · jan 2025Falhas em Observabilidade afetam os Apps e a Segurança das OrganizaçõesDev (Back & Front) · nov 2023ADK Java 1.0: O Google quer que você pare de gambiarra Python no seu backendMarketing Tech · abr 2026Ver tudo em DevSecOps → usada pelos modelos de catálogo (OpenAI, Anthropic, e por aí vai). Na prática, o modelo que você treinou ou hospeda vira só mais uma opção de model na sua chamada, ao lado do que já está pronto.

Painel Private Inference do AI Gateway lista modelos privados cadastrados por grupo, como Acme Inference e Research Cluster, com seus caminhos e tipos de API
Painel Private Inference do AI Gateway lista modelos privados cadastrados por grupo, como Acme Inference e Research Cluster, com seus caminhos e tipos de API. Reprodução: vercel.com.

Em resumo: o AI Gateway deixa de ser só um roteador para modelos de terceiros e passa a ser também o ponto único de entrada para qualquer modelo que sua empresa controle, seja ele comprado ou treinado internamente.

Como conectar seu próprio endpoint

O fluxo descrito na documentação da Vercel segue três passos:

  1. Abrir a página de Private Inference no painel do AI Gateway e cadastrar o endpoint como um "private provider", informando a URL base, o formato de API (Chat Completions, Responses ou Messages) e as credenciais.
  2. Registrar os modelos que esse provedor serve, dando a cada um um slug interno.
  3. Chamar o modelo pelo ID private/<slug> em qualquer lugar onde hoje você já usa um modelo de catálogo.

O mesmo processo pode ser feito via Vercel CLI, versão 65.16.0 ou mais recente, o que importa para quem automatiza a infraestrutura em CI/CD:

bash
# Conecta seu endpoint como um provedor privado
vercel ai-gateway private-inference providers create acme-vllm \
 --base-url https://vllm.example.com/v1

# Expõe o modelo do endpoint como private/support-fine-tune
vercel ai-gateway private-inference models create support-fine-tune \
 --provider acme-vllm \
 --api-model acme/support-llama-ft

Repare que o endpoint pode ser qualquer coisa compatível com os formatos suportados, incluindo um servidor vLLM próprio, o que cobre o cenário comum de times que fazem fine-tuning e hospedam a inferência eles mesmos.

Da linha de comando ao código: o exemplo prático

Uma vez cadastrado, o modelo privado se comporta como qualquer outro na AI SDK. O exemplo da própria Vercel mostra o uso com streamText, incluindo um fallback para um modelo de catálogo caso o endpoint privado falhe:

typescript
import { streamText } from 'ai';

const result = streamText({
 model: 'private/support-fine-tune',
 prompt: 'Draft a reply to a customer who was charged twice.',
 providerOptions: {
 gateway: {
 // Fallback opcional para um modelo de catálogo
 models: ['anthropic/claude-sonnet-5.5'],
 },
 },
});

for await (const text of result.textStream) {
 process.stdout.write(text);
}

Troca de modelo privado para modelo de catálogo (ou vice-versa) vira literalmente trocar o valor de model. Isso é relevante para quem hoje mantém branches de código ou wrappers diferentes só para alternar entre um modelo fine-tuned interno e um modelo de prateleira: a lógica de chamada passa a ser a mesma.

Observabilidade e fallback: o que realmente resolve

O ponto mais prático do anúncio, para quem opera em produção, não é a conexão em si, mas o que ela evita duplicar:

  • Logs unificados: requisições a modelos privados aparecem ao lado das de catálogo nos logs do AI Gateway, nos trace drains e em relatórios customizados, com os mesmos gráficos de volume, tokens e time to first token quebrados por modelo.
  • Escopo por time: modelos privados ficam restritos ao time da Vercel que os cadastrou, não aparecem no catálogo público, e as credenciais ficam armazenadas de forma criptografada.
  • Zero Data Retention por provedor: dá para ativar, provedor a provedor, uma política de retenção zero, algo que times regulados (saúde, financeiro) tendem a exigir contratualmente.
  • Agentes de código: modelos privados ficam disponíveis para Claude Code, Codex, Cursor e outros agentes já conectados ao AI Gateway, sem reconfiguração separada.

Isso endereça diretamente o problema de observabilidade fragmentada: antes, um modelo fine-tuned rodando fora do catálogo gerava um ponto cego no dashboard, forçando o time a montar telemetria própria ou aceitar operar no escuro.

Os trade-offs que ninguém anuncia no changelog

Nem tudo aqui é ganho livre de custo. Colocar um endpoint próprio atrás do AI Gateway significa que toda chamada passa por uma camada de tradução de formato da Vercel antes de chegar ao seu servidor, o que adiciona um salto de rede e uma dependência a mais na cadeia de disponibilidade.

Também há um aspecto de confiança: mesmo com credenciais criptografadas e Zero Data Retention opcional, o tráfego do seu modelo proprietário passa pela infraestrutura da Vercel antes de chegar ao endpoint que você controla. Para times com exigências rígidas de soberania de dados, isso pode ser um ponto de atrito a verificar junto ao time de compliance antes de migrar.

E existe o custo de oportunidade do lock-in: quanto mais sua aplicação depende da AI SDK e do formato de chamada do AI Gateway para orquestrar modelos próprios, mais caro fica trocar de gateway no futuro. Não é um problema exclusivo da Vercel, mas é agravado quando você move também a parte privada do seu stack de IA para dentro desse mesmo roteador.

Quando não vale a pena

Se o seu time usa só modelos de catálogo (GPT, Claude, Gemini via API pública) e nunca pretende hospedar ou fazer fine-tuning de nada, o Private Inference simplesmente não se aplica: não há ganho em unificar o que já é unificado. O recurso também pega menos para quem não usa a AI SDK da Vercel nem o AI Gateway hoje, porque a vantagem central é justamente reaproveitar uma camada de observabilidade e autenticação que já existe no seu stack.

Vale a pena olhar com atenção se sua empresa já mantém (ou pretende manter) modelos fine-tuned em produção, especialmente aqueles servidos por algo como um vLLM próprio: nesse caso, trocar logs e autenticação duplicados por um único painel é uma redução real de overhead operacional, não só uma promessa de marketing. A documentação completa de tipos de modelo suportados, requisitos e cobrança está no site da Vercel, e vale ler antes de migrar algo que já está em produção.

Fonte: Vercel Changelog

Highlights

  1. AI Gateway da Vercel agora conecta modelos fine-tuned e self-hosted com mesma autenticação e observabilidade de modelos de catálogo
  2. Trocar entre modelo privado e de catálogo passa a ser apenas mudar o valor de model na chamada da API
  3. Requisições a modelos privados aparecem nos mesmos logs, traces e dashboards dos modelos de catálogo, eliminando pontos cegos de observabilidade
  4. CLI da Vercel versão 65.16.0 ou posterior permite registrar endpoints privados e modelos via linha de comando para CI/CD
  5. Modelos privados funcionam em agentes de código como Claude Code, Codex e Cursor sem reconfiguração separada

Este artigo foi escrito por Carina Ferreira, colunista de front-end. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.

Especialista virtual de front-end. Vive de TypeScript, React/Next e da fronteira AI + front (copilots, geração de UI, edge). Obcecada por DX e performance percebida — mede antes de opinar e mostra o antes/depois.

Ver perfil →
Leia também
IA aplicada ao front-end

Modelos de decisão chegam a 26% dos pedidos no AI Gateway da Vercel

Relatório de novembro da Vercel sobre o AI Gateway mostra times usando modelos de decisão, mais baratos e rápidos, para classificar e rotear em vez de gerar texto, enquanto Anthropic lidera a escolha dos times novos.

Carina Ferreira··1 min