A teoria de busca de 1989 que explica por que a IA generativa erra a mão

A ideia mais citada sobre os limites da busca por IA generativa↳IA generativa81 conteúdosIA Generativa: 5 alternativas para começar a usar em 2025AI · jan 2025Gartner Revela o Futuro da IA GenerativaAI · jul 2024IA Generativa: Pesquisa global aponta Brasil como segundo país mais otimista com a tecnologiaAI · mar 2024Ver tudo em AI → não nasceu em laboratório de modelo de linguagem nenhum. Ela está num artigo de 1989 de Marcia J. Bates, cientista da informação da UCLA, que descreveu como as pessoas realmente procuram informação: não com uma pergunta e uma resposta final, mas catando pedaços de sentido em vários lugares, mudando de ideia no meio do caminho. É o argumento central de um texto publicado no UX Collective, assinado por Patrick Neeman, que conheceu Bates pessoalmente no IA Summit de Chicago em 2018.

O nome que Bates deu a esse comportamento é berrypicking: catar amoras espalhadas pela floresta, uma de cada vez, em vez de encontrar um arbusto único com todas as frutas. No paper The Design of Browsing and Berrypicking Techniques for the Online Search Interface, ela atacou o modelo clássico de recuperação de informação, que trata toda busca como uma consulta única, comparada uma vez contra um banco de dados↳Banco de dados134 conteúdosSQL ou NoSQL: eis a questão!!Data · mar 2020Banco de dados: como organizar e dar segurança para milhões de dados de loteriasData · mai 20215 serviços gratuitos na cloud para bancos de dados PostgresData · fev 2025Ver tudo em Data →, até produzir um conjunto de resultados supostamente ideal.

As buscas típicas não são estáticas, mas evoluem.

Marcia J. Bates, cientista da informação, UCLAtypical search queries are not static, but rather evolve.

Trinta e sete anos depois, a caixa de chat de qualquer assistente de IA generativa repete exatamente o modelo que Bates tentou derrubar: uma pergunta, uma resposta, fim. A diferença é que agora a resposta vem com gramática impecável e tom de autoridade, o que torna o problema mais difícil de perceber.

Quatro formas de buscar, e só uma delas é berrypicking

Bates distinguia berrypicking de outros três comportamentos de busca que parecem iguais de fora, mas não são:

• Busca por item conhecido: a pessoa sabe exatamente o que quer (um arquivo, um fato) e uma consulta resolve ou não resolve.
• Refinamento iterativo: a pessoa reformula a pergunta várias vezes, mas o alvo final não muda; é o comportamento que o pesquisador Gerard Salton tentou automatizar com relevance feedback.
• Navegação (browsing): a pessoa folheia e amostra dentro de um mesmo lugar; é um movimento dentro de uma busca maior, não a busca inteira.
• Berrypicking: a necessidade de informação muda enquanto a pessoa busca, e a resposta final vem em pedaços de fontes diferentes.

Essa distinção importa porque muda o que conta como sucesso. Um sistema clássico pode ser avaliado por precisão e recall num conjunto fechado de resultados. Uma busca em berrypicking não tem um conjunto único para medir, e Bates chamava de "um dos problemas fundamentais da estratégia de busca" simplesmente saber quando parar.

Um thumbs-up numa resposta de chat mede a última amora colhida, não o processo de catação inteiro. E um dado que o texto do UX↳UX33 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025UX, IA e Front-End: quando experiência, inteligência e código se encontram para criar o futuro digitalProduto & UX · jul 2025Novidades em UX/UI para 2025: O futuro do design de experiências digitaisProduto & UX · abr 2025Ver tudo em Produto & UX → Collective sublinha: às vezes o que mais importa é o que não foi encontrado, como a ausência de um precedente jurídico ou de uma cláusula conflitante num contrato. Um sistema que sempre devolve uma resposta confiante esconde justamente esse sinal.

O estudo que mostra a IA se perdendo quando a pergunta muda

Essa fragilidade apareceu em dado concreto recente. O estudo LLMs Get Lost in Multi-Turn Conversation, de 2025, simulou mais de 200.000 conversas e testou os principais modelos de linguagem em seis tarefas entregues aos poucos, em vez de de uma vez. Todos os modelos pioraram quando a tarefa chegava em partes, com queda média de 39% no desempenho. Em outras palavras: os modelos apostam cedo numa interpretação da pergunta e não se recuperam bem quando ela muda.

O Nielsen Norman Group documentou uma consequência prática disso no texto Accordion Editing and Apple Picking: Early Generative-AI User Behaviors: usuários copiando manualmente pedaços de uma resposta anterior para colar num novo prompt, porque a interface não dava nenhum outro jeito de apontar para aquele trecho. É berrypicking feito na marra, com recortar e colar como única ferramenta disponível.

Nomear a tática ajuda mais do que otimizar o prompt

Anos antes do berrypicking, Bates já tinha nomeado 29 táticas de busca no paper Information Search Tactics, premiado como melhor artigo do ano na área. A lógica era simples: dar nome a um movimento torna mais fácil ensiná-lo e reutilizá-lo. Entre as táticas:

O mesmo problema que existia nas bibliotecas de referência se repetiu no Google (as pessoas aprenderam, por tentativa e erro, a reduzir perguntas a duas ou três palavras-chave) e se repete agora no chat, em que cada usuário descobre sozinho qual frase arranca uma resposta útil. Uma caixa de prompt em branco não vem com nenhuma dessas táticas embutida.

Isso tem efeito medido em comportamento de clique. Pesquisadores da Microsoft, Ryen White e Dan Morris, encontraram diferenças marcantes entre quem usava operadores de busca e quem não usava, tanto na forma de consultar quanto nos resultados obtidos. Num experimento citado por Marti Hearst em seu livro sobre interfaces de busca, 91% de 32 estudantes de história da arte preferiram uma interface de busca facetada a uma simples, mesmo sendo mais lenta de usar. Filtro e faceta são as táticas de Bates virando botão, em vez de exigirem que o usuário as transforme em prompt.

Automação tem graus, e a maioria dos produtos pula direto para o nível 4

Em 1990, Bates propôs uma escala para responder a uma pergunta que toda equipe de produto de IA enfrenta hoje sob prazo: onde a pessoa deve parar e a interface de busca deve começar.

1. Nível 0: o sistema não ajuda em nada.
2. Nível 1: explica os movimentos possíveis (um painel de ajuda com operadores de busca).
3. Nível 2: executa um movimento sob comando (um filtro que roda quando a pessoa clica).
4. Nível 3: observa a busca e sugere o próximo passo (um "você quis dizer" ou uma pergunta de acompanhamento).
5. Nível 4: conduz a busca inteira sozinho, com ou sem explicar as escolhas (o agente de pesquisa que some por minutos e volta com um relatório pronto).

Bates argumentava que a pesquisa da época se fixava obsessivamente no nível 4, enquanto boa parte dos buscadores reais queria velocidade combinada com controle sobre a estratégia, não um ou outro. É quase a mesma descrição que Jakob Nielsen usaria décadas depois para caracterizar a IA generativa como uma inversão do locus de controle, em que o usuário declara o resultado desejado e o sistema escolhe o método.

Em resumo: pular direto para o nível 4 e chamar isso de agente também pula a etapa em que a confiança se constrói. Pessoas tendem a confiar no sistema automatizado mesmo quando ele erra, viés que Patrick Neeman documenta em seu site sobre diretrizes de UX. A alternativa é escolher o nível de automação por tarefa, e deixar a pessoa mover esse dial.

Uma resposta fluente em cima de um índice ruim continua sendo uma resposta ruim

O paper de 2002 de Bates, The Cascade of Interactions in the Digital Library Interface, lista as camadas por baixo de qualquer experiência de busca: infraestrutura, conteúdo, metadados, indexação e o motor de busca, com a interface e a pessoa no topo. Decisões em cada camada afetam todas as de cima, e nenhum polimento de interface conserta uma escolha ruim lá embaixo.

Troque "biblioteca digital" por "assistente com RAG" (retrieval-augmented generation, ou geração aumentada por recuperação) e pouca coisa muda. Acima do modelo está a janela de chat que o time fica refinando. Abaixo estão repositórios de documentos, regras de chunking e permissões configuradas anos atrás para outro propósito. O demo roda bem em 20 documentos limpos; a produção encontra uma década de políticas duplicadas e rascunhos sem rótulo.

O relatório Lack of AI-Ready Data Puts AI Projects at Risk, do Gartner, publicado em fevereiro de 2025, projeta que as organizações vão abandonar 60% dos projetos de IA sem dados prontos até 2026. O mesmo levantamento já mostrava o cenário atual: 63% das organizações não tinham as práticas de dados corretas, ou não sabiam se tinham.

Esconder a navegação custa clique, e custa contexto

Bates voltou ao tema da navegação em 2007, descrevendo o browsing como uma sequência de vislumbres: a pessoa enxerga um campo visual inteiro, seleciona algo, examina, decide manter ou descartar, e repete. É um comportamento exploratório que ela ligava à forma como animais procuram comida e abrigo, por isso ninguém precisa aprender a fazer isso do zero.

O resumo de IA generativa empurra as pessoas para o oposto disso: esperar numa espécie de balcão de informação até alguém (ou algo) entregar a resposta pronta. O Pew Research Center mediu esse efeito em março de 2025, acompanhando a navegação de 900 adultos americanos no Google. Quando um resumo gerado por IA aparecia nos resultados, a pessoa clicava num link 8% das vezes, contra 15% quando não havia resumo; a sessão terminava ali mesmo, sem clique nenhum, em 26% das páginas com resumo, contra 16% nas sem resumo.

Parte disso é o resumo cumprindo bem o papel dele. Parte é alguém que nunca viu a fonte original, porque nunca soube que podia pedir por ela.

O teste do berrypicking para quem desenha o produto

Neeman propõe um teste simples para qualquer assistente de busca ou IA generativa no roadmap: o produto espera que a pergunta mude, ou pune a mudança? Ele nomeia os movimentos de busca, ou obriga a pessoa a inventá-los sozinha? Dá para escolher o quanto o sistema decide sozinho? E existe alguém responsável pelo conteúdo por baixo da resposta?

Quatro ações concretas saem direto do material de Bates, adaptado para quem desenha produto hoje:

• Mostrar o histórico da pergunta: manter visível um resumo do que a pessoa já perguntou, e deixar editar uma pergunta anterior sem abrir um chat novo.
• Adicionar controles de refino: botões para estreitar, excluir, ampliar e comparar com o pedido original ao lado de cada resposta, em vez de exigir que isso vire prompt.
• Definir o nível de automação por tarefa: decidir em quais tarefas o sistema só sugere e em quais ele pode agir sozinho, com uma configuração que a pessoa possa mudar.
• Arrumar os metadados antes da interface: rotular documentos por tipo, dono, data e status, definir termos num mapa semântico compartilhado e mostrar as fontes por trás de cada resposta, inclusive quando nada relevante foi encontrado.

A resposta única da IA generativa impressiona. Mas é o mesmo modelo clássico que Bates passou décadas argumentando contra, só que com gramática melhor. Quem desenha busca ou assistente de IA generativa ganha mais testando o produto contra a pergunta que ainda está se formando do que otimizando a resposta perfeita para a pergunta que já chegou pronta.

Fonte: UX Collective