DoorDash reduz latência de recompra de supermercado de 16 para 2 segundos com agentes de IA

O que mudou

O DoorDash, aplicativo americano de entrega de comida e mercado, reduziu de cerca de 16 segundos para 2 segundos a latência do fluxo de recompra de supermercado dentro do Ask DoorDash, seu assistente de compras conversacional. A mudança, relatada pela InfoQ em 30 de outubro de 2026 a partir de um post técnico do DoorDash, dobrou as visualizações de listas de compras e aumentou em aproximadamente 34% a taxa de conversão em pedidos nesse fluxo específico.

O ganho não veio de um modelo mais rápido nem de mais GPU. Veio de uma decisão de arquitetura: tirar do caminho de resposta ao usuário o trabalho que pode ser feito antes, offline, e deixar no tempo real só o que realmente depende do estado atual do catálogo.

Como funciona na prática

Antes, cada vez que o cliente abria o fluxo de recompra, o sistema reconstruía do zero, via LLM↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI →, quais itens ele provavelmente queria comprar de novo. Isso significava inferência de modelo acontecendo no caminho crítico da requisição, o que explica os 16 segundos.

A nova arquitetura separa duas etapas:

• Pré-computação em batch: o DoorDash processa 90 dias de histórico de compras mais sinais do perfil do consumidor. Inferência de LLM em lote identifica as compras recorrentes prováveis, e uma camada de validação determinística confere esses resultados antes de armazená-los como dados reutilizáveis de lista de compras.
• Resolução em tempo real: quando o usuário abre o app, o sistema busca esses dados já prontos e resolve cada item contra o catálogo atual, tentando primeiro o item original da loja, depois um identificador de produto do catálogo e, por fim, um termo de busca.

Esse encadeamento de fallback é o que permite ao sistema lidar com catálogo mutável (produto que saiu de linha, loja que trocou o item) sem precisar repetir todo o raciocínio histórico a cada chamada. A engenheira do DoorDash Twisha Jain resumiu a lógica por trás da decisão em um post no LinkedIn:

Sistemas agentivos melhores nem sempre são sobre mais raciocínio; são sobre decidir o que pertence ao loop do agente e o que pode acontecer com antecedência.

Twisha Jain, engenheira no DoorDashBetter agentic systems aren't always about more reasoning; they're about deciding what belongs in the agent loop and what can happen ahead of time.

Quando o LLM ainda entra em tempo real

A separação entre offline e online não elimina o modelo do caminho crítico por completo, ela só reserva a inferência síncrona para os casos que realmente precisam de raciocínio novo. O sistema ainda aciona o agente de Grocery quando a tarefa exige comparar alternativas mais baratas considerando preço atual, promoções, tamanho de embalagem, estoque e preferências do consumidor.

Já operações simples, como mudar a quantidade de um item ou remover um produto da lista, são aplicadas direto na lista de compras, sem nova chamada ao LLM. Essa distinção, entre o que exige julgamento e o que é edição estrutural, é o que mantém o custo de inferência sob controle em um fluxo de alto volume.

Um post de engenharia do DoorDash sobre a interface de compras descreve o princípio que rege essas edições:

A edição direta do consumidor é autoritativa: o próximo turno do agente começa a partir da lista editada, não do que foi dito antes.

Engenharia do DoorDash, post sobre a interface de comprasA consumer's direct edit is authoritative: the next agent turn starts from the edited list, not from what was said earlier.

A lista de compras é tratada como um artefato estruturado que tanto o consumidor quanto o agente podem atualizar, em vez de depender só do histórico da conversa para reconstruir o estado.

A plataforma de agentes compartilhada por trás disso

Esse fluxo de recompra não foi construído isolado: ele roda sobre a plataforma de agentes compartilhada do Ask DoorDash, que fornece orquestração, memória, acesso a modelos, tracing, infraestrutura de avaliação e controles de rollout como serviço comum. As equipes de domínio (grocery, reservas, etc.) mantêm só a propriedade das instruções do agente, das skills, das ferramentas e dos critérios de avaliação específicos do seu caso de uso.

O DoorDash relata que, com essa base pronta, adicionar um agente de Reservations levou uma semana, cerca de dez vezes mais rápido do que construir os agentes de domínio iniciais do zero. É o argumento de infraestrutura reutilizável de sempre, agora aplicado a agentes: a plataforma amortiza o custo de engenharia entre vários times.

Por que isso importa pra quem constrói e-commerce no Brasil

O padrão aqui é mais interessante do que o caso específico de supermercado. Qualquer time que tenha um fluxo de recomendação, checkout ou busca personalizada rodando LLM síncrono a cada requisição está pagando o mesmo imposto de latência que o DoorDash tinha antes da mudança. A pergunta que vale levar pro seu próprio sistema é: quanto desse raciocínio depende do instante exato da requisição, e quanto poderia ser pré-computado em batch e só validado/resolvido contra dados atuais na hora?

Para marketplaces e varejistas que já usam IA generativa em recomendação de produto ou montagem de carrinho, o caso do DoorDash sugere um caminho concreto:

1. Identifique os sinais que não mudam a cada requisição (histórico de compra, perfil, padrão de consumo) e processe-os offline, em lote.
2. Separe o resultado do raciocínio (o que foi inferido) da resolução contra o estado atual (o que está disponível agora, a que preço).
3. Reserve a chamada síncrona ao modelo só para decisões que exigem dado fresco de verdade (preço, estoque, promoção).
4. Trate edições diretas do usuário como fonte de verdade que sobrescreve o estado anterior, em vez de reconstruir tudo a partir da conversa.

Esse desenho reduz não só latência percebida, mas também custo de inferência, já que menos chamadas de LLM acontecem no caminho crítico por usuário. Para quem opera em escala no Brasil, com picos de tráfego em datas como Black Friday, esse tipo de separação entre trabalho offline e resolução em tempo real pode ser a diferença entre um checkout que escala e um que degrada sob carga.

O que ainda fica em aberto

O material do DoorDash não detalha qual modelo é usado na inferência em lote, nem o custo de rodar esse pipeline de 90 dias de histórico por usuário, nem com que frequência os dados pré-computados são atualizados. Também não há benchmark público comparando esse padrão de arquitetura com o que outras plataformas de mercado, como o assistente de compras do Instacart, fazem internamente. São detalhes que fariam diferença pra quem for replicar o desenho, e que não têm número divulgado até agora.

Fonte: InfoQ