Amplitude corta o ciclo de desenvolvimento de um mês para dois dias com agentes de IA da OpenAI

Um agente que decide o que construir, não só como construir

Em case study publicado pela OpenAI, a Amplitude descreve como seu agente de produto Wave consegue comprimir o intervalo entre identificar uma oportunidade e colocar a melhoria no ar para algo em torno de 1 a 2 dias, segundo estimativa da própria empresa, contra o que normalmente levava cerca de um mês. A Amplitude diz que o Wave é cerca de 80% construído sobre modelos da OpenAI: GPT-6.1 Sol, GPT-6 Luna e GPT-Image-2.5 Flare.

O fluxo descrito funciona assim: o time dá ao Wave uma área de produto e as métricas que quer melhorar. O agente cruza dados de uso da própria Amplitude, session replays, feedback de clientes e o código-fonte para encontrar e priorizar oportunidades, desenhar soluções e coordenar a implementação entre pessoas e coding agents, incluindo o Codex. Depois, ele acompanha o resultado e usa esse aprendizado para a rodada seguinte.

O CEO da Amplitude resume a mudança de papel da IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → no processo:

A IA agora consegue encontrar trabalho útil que nunca pensamos em atribuir a ela. Os modelos da OpenAI conseguem investigar um problema, escrever e rodar código, e usar os resultados para decidir o que tentar em seguida.

Spenser Skates, CEO da AmplitudeAI can now find useful work we never thought to assign it. OpenAI's models can investigate a problem, write and run code, and use the results to decide what to try next.

Um roteador de modelos, não um modelo único fazendo tudo

O ponto mais relevante para quem constrói sistemas de agentes não é o resultado final, é a arquitetura por trás dele. A Amplitude não usa um único modelo de ponta para tudo: ela distribui tarefas por especialidade, custo e latência.

• GPT-6.1 Sol cuida do opportunity manager e das investigações profundas em código e dados, onde o raciocínio precisa ser forte e bem fundamentado.
• GPT-6 Luna roda tarefas frequentes e baratas, como varrer código e executar pequenas checagens de avaliação, repetidas centenas de vezes.
• GPT-Image-2.5 Flare gera mockups e wireframes usando prints de session replays como referência visual.

Essa divisão de trabalho é o padrão que vale replicar em qualquer sistema de agentes em produção: reservar o modelo de raciocínio mais caro só para o que realmente exige profundidade, e empurrar o volume para modelos menores e mais rápidos.

O teste que a própria Amplitude rodou em si

A Amplitude usou o Wave para investigar sua própria homepage, onde cards de sugestão genéricos deveriam ajudar o usuário a iniciar uma conversa com um agente de IA. Em uma amostra de 100 session replays, 80 usuários digitaram a própria pergunta e só 12 clicaram em alguma sugestão: o recurso estava sendo largamente ignorado.

O Wave propôs personalizar os cards com base em gráficos recentes, dashboards ou na página de origem do usuário, e entregou tanto a ilustração da mudança quanto um plano técnico, incluindo manter a digitação livre e mostrar sugestões genéricas quando não houvesse contexto suficiente para personalizar. Depois de uma revisão breve, o time passou o trabalho a um coding agent e rodou um teste A/B.

O resultado: mensagens enviadas através dos cards da homepage subiram 160% em relação ao controle, já no primeiro dia. Um engenheiro sênior da Amplitude resume por que esse tipo de ajuste costuma passar batido:

É um ótimo exemplo de como coisas nada revolucionárias, que simplesmente são ignoradas, podem aumentar a adoção de funcionalidades de formas inesperadas.

Eric Carlson, Senior Principal AI Engineer da AmplitudeIt is a great example of how non-groundbreaking things that just get ignored can increase the adoption of features in unexpected ways.

Quem ainda decide o que vai para produção

O Wave não elimina a revisão humana, ele reorganiza onde ela acontece. Segundo a Amplitude, a maioria dos bug fixes vai direto para coding agents sem passar por aprovação manual, enquanto novas funcionalidades e apostas maiores continuam exigindo revisão de pessoas antes do deploy.

Essa é a peça que explica a velocidade: entre experimentos, flags e guias lançados por clientes a partir de oportunidades que o Wave encontrou, a distribuição de tempo até o ar foi:

• 1 em cada 4 foi ao ar no mesmo dia em que o Wave identificou a oportunidade;
• metade entrou em produção em menos de 4 dias;
• dois terços saíram dentro de uma semana.

Vale uma ressalva que a própria OpenAI inclui no material: essa curva foi interpolada a partir de marcos fornecidos pela Amplitude, é ilustrativa, não uma série de observações individuais ponto a ponto. É um dado direcional, não uma métrica de precisão estatística.

Os números por trás da escolha de cada modelo

A Amplitude publicou avaliações internas que justificam o roteamento de modelos. Para o Opportunity Investigator, o critério foi corroborar achados, evitar falsos positivos, incorporar feedback do avaliador, recuperar de falhas de ferramenta e manter afirmações alinhadas com evidência:

Para o Data Science Agent, o Sol não venceu em nota bruta, mas levou em custo e em outros critérios:

O Sol pontuou melhor em conformidade com o contrato de ferramentas, estimativa de incerteza e embasamento em evidências, mesmo perdendo na nota geral por um detalhe. Para quem está decidindo qual modelo usar em um agente de produção, essa tabela é um lembrete útil: nota mais alta isolada não é a mesma coisa que melhor custo-benefício para o caso de uso.

Na geração de wireframes, o GPT-Image-2.5 Flare pontuou 80,3 de 100 contra 63,9 de outro modelo de imagem, numa avaliação que cobriu qualidade de comunicação, fidelidade ao produto, aderência à instrução, legibilidade de texto e interface, e coerência visual em 15 oportunidades diferentes.

O que não dá para copiar direto desse case

Todos esses números vêm de um material publicado pela própria OpenAI sobre um cliente que usa os modelos da OpenAI. Os nomes dos modelos concorrentes não são divulgados, a metodologia completa dos evals não está detalhada publicamente, e não há benchmark independente para conferir os resultados. É um dado de marketing bem instrumentado, não um paper revisado por pares.

Também vale notar que o Wave, segundo o próprio material, ainda está em beta com clientes de diferentes indústrias: não é um produto maduro e amplamente testado em escala. E o custo por chamada de US$ 1,28 a US$ 2,63 por dispatch, multiplicado por centenas de investigações, é uma linha de orçamento real que qualquer time que queira montar algo parecido precisa colocar na conta antes de prometer ciclos de dois dias para a diretoria.

O que fica para quem constrói

O padrão que sobrevive à desconfiança com números de case study é a arquitetura: dar a um agente acesso direto a telemetria de produto, session replays e código-fonte, roteá-lo entre modelos diferentes conforme a tarefa, entregar o plano técnico pronto para um coding agent como o Codex implementar, e manter humanos como porta de entrada para o que tem mais risco. Isso é replicável com qualquer stack de agentes, não depende de ser cliente da Amplitude.

A aposta declarada pela empresa é que, à medida que os modelos de raciocínio e código melhoram, mais trabalho de investigação e implementação vai para os agentes, liberando o time para outras prioridades enquanto o produto segue sendo ajustado em segundo plano. Para o time de engenharia que avalia montar algo parecido, a pergunta prática não é se o modelo é bom o suficiente, é se existe dado de produto (replay, analytics, código) estruturado o bastante para um agente investigar sem alucinar prioridade.

Fonte: OpenAI News