Jev se torna peça de infraestrutura para quem constrói agentes em produção

No AI↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → Engineer Code Summit, realizado nesta semana e coberto pela Latent Space, o tema central da edição foi o que o setor vem chamando de "system one models": modelos que não geram texto, mas retornam escolhas estruturadas, scores ou probabilidades, de forma muito mais rápida e barata do que um LLM de raciocínio (os chamados "system two"). O protagonista da conversa foi o Jev, lançado em setembro de 2026 pela TypeSafe AI e que, segundo o relato da Latent Space, já provocou o episódio mais popular do ano no podcast do veículo quando foi anunciado.

Diogo Almeida, CEO da TypeSafe AI e criador do Jev, subiu ao palco para um discurso de tom quase evangelista. Sua tese central é simples de enunciar e difícil de ignorar para quem constrói produtos com LLM no centro: o problema não é inteligência, é confiabilidade. Ele resumiu o ponto com uma analogia que já circula nos corredores do evento.

Você tem um Einstein 95% do tempo, mas um Mr. Bean nos outros 5%.

Diogo Almeida, CEO da TypeSafe AI e criador do JevYou get Einstein 95% of the time, but Mr. Bean 5% of the time.

A pergunta que ele fez em seguida é a que todo engenheiro de agentes já se fez em produção: se você não consegue prever qual dos dois vai responder, como automatizar algo com confiança? É esse o vácuo que o Jev promete preencher, não como substituto do LLM, mas como uma segunda peça na esteira de decisão.

Integrar modelo rápido dentro do código, não em volta dele

O ponto mais relevante do keynote de Almeida para quem arquiteta sistemas foi a defesa explícita de que modelos system one precisam viver dentro do código de aplicação, não como uma chamada de API isolada e genérica.

O código é a linguagem da automação, por isso você precisa integrar com código.

Diogo Almeida, CEO da TypeSafe AICode is the language of automation, therefore you need to integrate with code.

Swyx, fundador da Latent Space, traduziu essa ideia em termos mais práticos para quem já sofreu com prompt engineering frágil.

Espalhar livremente chamadas a modelos "System One" por toda parte dentro do código da aplicação, para criar software mais inteligente em vez de formas cada vez mais convolutas de engenharia de IA que só "concatenam strings e torcem para dar certo".

swyx, fundador da Latent SpaceLiberally sprinkle "System One" model calls everywhere INSIDE application code to make smarter software instead of increasingly convoluted forms of "concat strings together and hope for the best" AI engineering.

Na prática, isso descreve um padrão arquitetural específico: em vez de um único LLM decidindo tudo via prompt gigante, o fluxo passa a ter dezenas de pontos de decisão pequenos (ranquear, classificar, pontuar) resolvidos por um modelo rápido e barato, com o LLM reservado para o que exige geração real de texto ou raciocínio em múltiplos passos. É uma divisão de trabalho, não uma substituição.

Como o Glean usa o Jev ao lado do LLM

Chinmay Goyal, da Glean, apresentou logo depois de Almeida uma versão mais operacional da mesma ideia. Na Glean, o Jev convive com LLMs e com classificadores tradicionais, cada um resolvendo um tipo de decisão diferente dentro do mesmo produto. O diferencial que ele destacou é a chamada "zero-shot flexibility": quando a taxonomia das categorias de decisão muda, não é preciso reajustar o modelo do zero.

Conforme a taxonomia do espaço de decisão muda, não precisamos reajustar esses modelos repetidamente.

Chinmay Goyal, GleanAs the taxonomy of the decision space changes, we don't have to fine-tune these models again and again.

Isso ataca um problema real de classificadores clássicos: toda vez que o produto ganha uma categoria nova, o modelo de scoring tradicional precisa ser retreinado. Se o Jev de fato sustenta isso em produção sem perda de qualidade, é uma vantagem concreta de manutenção, mas a fonte não traz números de acurácia comparando as duas abordagens, então vale tratar a alegação como reportada pelo cliente, não como benchmark independente.

Goyal também foi direto sobre uma decisão de produto que muitos times de IA enfrentam: o usuário final não precisa, e não deve, saber qual modelo respondeu.

O Jev move uma parcela significativa dos fluxos, mas o usuário só precisa de um produto que funcione; esse sempre foi nosso objetivo ao construir qualquer coisa. Por isso queremos esconder toda a complexidade de estarmos usando o Jev ou um LLM completo.

Chinmay Goyal, GleanJev powers a significant number of flows [but] the user just needs to have a product that works; that is always our aim with building anything. So we want to hide away all the complexity of whether we are using Jev or we are using a full-blown LLM.

No fechamento, Goyal disse ter oferecido uma lista de regras práticas sobre quando usar o Jev em vez de um LLM, mas o material da Latent Space não reproduz o conteúdo dessas regras, apenas registra que elas foram apresentadas. É uma lacuna que vale cobrar da própria TypeSafe AI ou da Glean antes de copiar o padrão.

UiPath: um torneio de milhares de chamadas em menos de um segundo

O exemplo mais concreto de arquitetura veio de Chibi Vikram e Kevin Bernstein, da UiPath. Eles mostraram um sistema de ranqueamento de trechos de documento (chunks) organizado como um torneio: o Jev compara pequenos grupos de chunks, os vencedores avançam para a rodada seguinte, e assim por diante até sobrar o mais relevante. Segundo a dupla, o processo inteiro, com milhares de chamadas ao Jev, roda em menos de um segundo.

Vikram resumiu a lição arquitetural de forma direta: o modelo isolado não é o produto final, a estratégia de composição é.

Percebemos que o Jev é um bloco de construção que podemos ajustar, e temos que descobrir novas estratégias para aplicar esse bloco. Ele pode parecer menos inteligente sozinho, mas com essas estratégias e padrões conseguimos mais inteligência, mesmo com o modelo atual que temos.

Chibi Vikram, UiPathWe realized that Jev is a building block that we can adjust, and we have to find these new strategies where we will be able to apply this building block. It might look less intelligent on its own, but with these strategies and patterns, we can get more intelligent, with even the current Jev model that we have.

Esse é o tipo de padrão que só faz sentido economicamente com um modelo rápido e barato: rodar um torneio de milhares de comparações via LLM de raciocínio custaria latência e dinheiro incompatíveis com um produto interativo. É também o ponto onde a promessa de Almeida fica mais fácil de testar: não é sobre o Jev ser "inteligente" isoladamente, é sobre a composição de muitas chamadas baratas superando uma chamada cara e lenta.

Workday: prever a ação, não só a frase

Scott Roberts, Principal Engineer na Workday, encerrou a sessão com um protótipo que ilustra bem a diferença entre gerar texto e prever uma escolha estruturada: uma interface que começa a preencher um formulário de folga enquanto o usuário ainda está digitando, usando o Jev para antecipar a decisão. Roberts descreveu a mudança de forma direta: o software passa de prever o que o usuário vai dizer para prever o que ele vai fazer.

Esse caso aponta para um uso de system one models que foge do padrão "chatbot": não é geração de resposta, é inferência de intenção aplicada diretamente na interface, em tempo real, sem o usuário nem perceber que houve uma chamada de modelo. É um uso que só é viável com latência de milissegundos, algo que um LLM de raciocínio dificilmente entrega em escala.

O que muda (e o que não muda) para quem constrói agentes

Para times que já constroem agentes em produção, o recorte prático que emerge do evento não é "trocar o LLM pelo Jev", é redesenhar o pipeline de decisão em camadas: scoring, ranking e classificação ficam baratos e rápidos o suficiente para rodar centenas ou milhares de vezes por requisição, enquanto geração de texto, planejamento e raciocínio multi-etapa continuam no LLM. Isso muda o cálculo de custo e latência de padrões como reranqueamento de contexto para RAG, roteamento de ferramentas em agentes e validação de saídas antes de expor ao usuário.

O ceticismo saudável aqui tem três frentes concretas:

• Os números citados (milhares de chamadas em menos de um segundo, zero-shot sem refino) vêm de clientes relatando em palco, não de benchmarks publicados e reproduzíveis;
• A TypeSafe AI não detalhou publicamente, no material da Latent Space, como o Jev é treinado ou qual é a estrutura de custo por chamada fora do contexto dos cases;
• "Smart software" é, ainda segundo a cobertura, um termo de marketing que ecoa jargão de Web 2.0, e vale separar o discurso de automação total do uso efetivo, que nos três cases apresentados é bem mais modesto e específico (ranking, autopreenchimento, roteamento).

A fala de encerramento de Almeida comparando o momento à explosão do início da internet é reveladora do estágio em que o ecossistema está: mais exploração do que consolidação.

Acho que vai haver uma explosão do que o software pode fazer, e vamos querer que as pessoas explorem esses limites do software. Não necessariamente porque é valioso, mas porque elas podem, porque temos novas fronteiras para explorar, e foi assim que foi a internet no começo.

Diogo Almeida, CEO da TypeSafe AII think that there's going to be an explosion of what software can do, and we will want people to be exploring those boundaries of software. Not necessarily because it's valuable, but because they can, because we have new frontiers to explore, and this is what the early internet was like.

Para quem decide arquitetura hoje, o caminho razoável é tratar o Jev e categoria de system one models como mais uma ferramenta no pipeline de decisão, testável em paralelo a classificadores tradicionais e a chamadas de LLM já existentes, não como substituto automático de nenhum dos dois até que haja benchmark independente publicado.

Fonte: Latent Space