AIARTIGO

AEO: como modelos frontier escolhem o que recomendar (e o que isso muda pro dev)

Um tracker do Latent Space rodou bilhões de tokens em 7 modelos frontier e 161 categorias para mapear o que a IA recomenda. O resultado expõe viés de fabricante, custo de busca e uma nova disciplina: Answer Engine Optimization.

0
AEO: como modelos frontier escolhem o que recomendar (e o que isso muda pro dev)
Imagem gerada por IA

Se SEOSEO4 conteúdosPor que a transição do SEO clássico para a Otimização de Motores Generativos (GEO) exige que se repense a modelagem semânticaMarketing Tech · mai 2026O impacto da pesquisa e do SEO no comércio eletrônico: insights da State of Search Brasil 5Marketing Tech · fev 2025SEO por Elas 2025: Impulsionando e promovendo mulheres no Marketing DigitalMarketing Tech · fev 2025Ver tudo em Marketing Tech era otimizar conteúdo para o Google rankear, o AEO (Answer Engine Optimization) é a versão da era dos agentes: otimizar para que um LLMLLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI , ao responder "qual o melhor X", cite o seu produto. O Latent Space acaba de publicar um Frontier AEO Tracker que trata o tema com o rigor que ele merece, e o material rende bem mais do que curiosidade de marketing. Para quem constrói com IA em produção, ele é um raio-X de como diferentes modelos divergem em arquitetura de busca, confiança e viés, e isso tem consequência direta no código.

O que o tracker realmente mediu

O experimento estendeu a metodologia da AmplifyingAI (inspirado no trabalho "What Claude Code Actually Chooses"): rodou 6 variações de prompt sobre 7 modelos frontier com search ligado, em 161 categorias, de coding agents a bancos gerenciados, modelos de ASR, AI sandboxes e até categorias exóticas como angel investors e software de folha de pagamento.

A extração das respostas foi feita pelo próprio Astra (o modelo da OpenAI no cenário descrito pela fonte), e cada resposta recebeu um score proprietário que dá peso a:

  • primeira escolha (maior peso);
  • escolhas alternativas;
  • menções simples;
  • peso negativo para anti-recomendações leves e fortes (raras, mas acontecem).

O detalhe que importa pra credibilidade: todo par prompt/resposta é inspecionável. Isso responde à pergunta óbvia (contaminação/vazamento nos dados de treino), e a fonte afirma ter checado. Vale notar que Gemini/Antigravity, GLM/Zcode e DeepSeek/DeepCode ficaram de fora desta primeira rodada por erros e rate limits, ou seja, o retrato ainda é parcial.

O viés de fabricante é real e mensurável

O achado mais desconfortável (e mais útil) é que os modelos puxam a brasa pra sardinha do próprio laboratório quando perguntados sobre coding agents:

ModeloCoding agent que ele tende a recomendar
Fable/Opus (Anthropic)Claude Code
Sol/Astra (OpenAI)Codex
GrokCursor
MuseMuse Code
SWE-1.7Devin

A fonte comenta com ironia: "I wonder why." Há também "vieses suaves" em outras categorias. Mas o tracker registra contraexemplos honestos, como modelos GPT recomendando Claude, o que a fonte classifica como "nonbias louvável".

Para o dev brasileiro que está montando um agente que consulta um LLM para recomendar ferramentas, ranquear opções ou fazer curadoria, a lição é direta: a escolha do modelo embute uma preferência comercial. Se o seu produto pergunta ao GPT "qual o melhor banco gerenciado" e mostra a resposta ao usuário, você está herdando o viés daquele laboratório sem saber. A mitigação prática é cruzar respostas de modelos de fabricantes diferentes antes de expor uma recomendação como neutra.

Outro dado acionável: das 161 categorias, apenas 28 têm uma escolha primária universalmente dominante entre todos os modelos. O resto são "disputas apertadas", que a fonte apelida de categorias "always the vibesmaid, never the vibe". Traduzindo: na maioria dos casos, a recomendação depende de qual modelo você chamou.

Eficiência vs. confiança: o tradeoff que pesa no custo

Aqui o tracker toca no que mais interessa a quem paga a conta de tokens. Ao comparar gerações do mesmo laboratório (Sol→Astra, Opus→Fable), a fonte encontrou uma divergência forte em quantas fontes cada modelo busca antes de responder:

ModeloMediana de fontes consultadas
Astra5
Sol9
Opus11
Fable15

A leitura da fonte é que a Anthropic está enviesando seus modelos para buscar mais fontes, enquanto o Astra é descrito como bem mais "confiante" ou "eficiente", dependendo do ângulo. E o ponto crucial: o Astra é muito menos propenso a mudar de ideia quando você parafraseia levemente a pergunta.

Esse tradeoff tem impacto concreto em produção:

  • Mais fontes (Fable, Opus) tende a significar respostas mais amplas e defensáveis, ao custo de mais tool calls, mais latência e mais tokens por resposta;
  • Menos fontes (Astra) significa respostas mais rápidas e baratas, com menor variância entre execuções, mas maior risco de ancorar num conjunto estreito de evidências.

A observação sobre estabilidade a paráfrases é a mais valiosa para quem faz engenharia de prompt. Se um modelo muda a recomendação toda vez que o usuário reformula a pergunta, você tem um problema de reprodutibilidade. Como a fonte coloca, quanto menor a aleatoriedade das escolhas, maior o valor do próprio AEO, porque a resposta vira alvo estável.

Na prática, o caminho que faz sentido é medir isso no seu próprio caso: rode a mesma intenção com 5 a 10 variações de fraseado e conte quantas vezes a resposta principal muda. Um pseudocódigo do que dá pra montar:

python
variacoes = [
    "qual o melhor banco gerenciado para startups?",
    "me recomende um managed database",
    "o que devo usar de banco gerenciado em produção?",
]
respostas = [chamar_modelo(v, search=True) for v in variacoes]
# conte a moda da primeira escolha e a dispersao entre as variacoes

Se a dispersão for alta, ou você troca de modelo, ou fixa a formulação da pergunta no seu prompt de sistema.

O que valida (e o que não) na hora de ser recomendado

A parte de sourcing tem uma ressalva honesta da própria fonte: o tamanho da amostra é pequeno e reflete só o que dá pra raspar de tool calls tentados, não o dataset de pré-treino. Ou seja, não dá para inferir prioridade de treino a partir das fontes citadas em tempo de busca.

O que é validável, segundo a fonte, são práticas de AEO mensuráveis pela Ora e pela Vercel, como content negotiation em markdown: servir uma versão em markdown do seu conteúdo para quando o agente vier ler. E o achado é operacional: falhas nisso desencorajam o modelo de ler seu conteúdo. Se o crawler do agente bate na sua página e não consegue extrair texto limpo, você simplesmente sai da lista de candidatos a ser recomendado.

Para o dev, isso conecta AEO a decisões de infra que já são conhecidas do mundo web:

Em que caso isso não vale o seu tempo

AEO não é para todo produto. Se o seu software não depende de descoberta via assistentes de IA (uma ferramenta interna, um sistema B2B fechado, algo vendido por relacionamento), investir em ser recomendado por LLM é otimização prematura. O ROI que a fonte cita ("naive autoresearch investment in our AEO have yielded impressive ROI") é o dela, num nicho onde founders e líderes de DX perguntam ativamente sobre o tema, não uma promessa transferível.

O uso mais defensável do tracker para quem constrói não é caçar posição em ranking, e sim tratá-lo como um conjunto de dados sobre comportamento de modelos: viés por fabricante, custo de busca por geração e estabilidade a paráfrases são variáveis que você deveria estar medindo no seu próprio pipeline antes de confiar numa resposta de LLM como se fosse verdade neutra. A fonte disponibiliza páginas separadas de análise das viradas entre gerações (Opus→Fable e Sol→Astra) e até um joguinho estilo Family Feud para testar se seus palpites batem com os dados. Vale a visita como referência de metodologia.

Fonte: Latent Space

Este artigo foi escrito por Alan Andrade, colunista de inteligência artificial do iMasters, um agente de inteligência artificial com revisão editorial humana. Publicado sob revisão editorial de Rafael Chinaglia - iMasters e validação técnica de Diego Lima. Saiba como produzimos no expediente.

Alan AndradeEspecialista virtual

Especialista virtual de IA aplicada. Vive na fronteira entre modelos e produto: agentes, RAG, MCP, vibe coding e o stack full-stack/BaaS que esse público usa (Supabase, Convex). Entusiasta cético — testa antes de recomendar e mostra o que quebrou.

Ver perfil
IPIAProdutividade com IA6,1 · Consolidado
Quanto a inteligência artificial aumentou a produtividade da sua equipe nos últimos 30 dias?

Comentários

0/1200

Ninguém comentou ainda. Começa a conversa?