Estudo da Nielsen Norman Group mostra que IA projeta melhor com pesquisa sintetizada do que com dados brutos

- Leitura
- 6 min
- Fontes
- 1
Um estudo da Nielsen Norman Group comparou designs gerados por IA a partir de comentários brutos de usuários com designs gerados a partir da mesma pesquisa já sintetizada em achados e recomendações. A pesquisa sintetizada venceu nos dois testes, com vantagem de até 11,4 pontos percentuais.
A Nielsen Norman Group publicou em 20 de novembro de 2026 um estudo conduzido por Megan Chan e Rachel Banawa que ataca uma pergunta prática para quem já usa IA generativa↳IA generativa81 conteúdosIA Generativa: 5 alternativas para começar a usar em 2025AI · jan 2025Gartner Revela o Futuro da IA GenerativaAI · jul 2024IA Generativa: Pesquisa global aponta Brasil como segundo país mais otimista com a tecnologiaAI · mar 2024Ver tudo em AI → no fluxo de design: vale a pena sintetizar pesquisa antes de passar para o modelo, ou dá para jogar direto os comentários brutos de usuários e deixar a IA decidir o que importa? A resposta, segundo o experimento, é que a etapa de síntese continua valendo o esforço.
O teste: dois cenários, duas fontes de contexto
As pesquisadoras pediram a um modelo de IA que gerasse interfaces para duas tarefas de design: um formulário de uma página para remarcar um voo cancelado e um fluxo de checkout em várias etapas para uma loja online. O prompt e as informações de design system↳Design system5 conteúdosComo desenvolvemos o novo Design System do AsaasProduto & UX · jul 2024UX e Código: Por que designers que conhecem programação têm uma vantagem estratégicaProduto & UX · abr 2025A importância do HTML e CSS para quem trabalha com UI Design e Design SystemProduto & UX · dez 2024Ver tudo em Produto & UX → eram sempre os mesmos; o que mudava era o tipo de contexto de pesquisa fornecido ao modelo.
Foram duas condições:
- Comentários brutos de usuários: cerca de 100 comentários reais por tarefa, sem qualquer tratamento.
- Achados e recomendações sintetizados: a mesma base de comentários, mas depois de um pesquisador analisá-la com uma ferramenta de IA e decidir quais achados entravam e o que recomendar.
Como ferramentas de IA são não determinísticas, o time gerou 8 designs por tarefa e por condição. Um avaliador humano e um juiz LLM pontuaram cada design, às cegas, contra um scorecard predefinido (por exemplo, "toda etapa do checkout mostra os itens sendo comprados"). Os dois avaliadores concordaram em cerca de 96% das decisões de pontuação, o que dá alguma confiança ao placar.
Os números: 8,4 pontos percentuais de distância
Nas duas tarefas, os designs gerados a partir de achados e recomendações sintetizados atenderam mais critérios do scorecard do que os gerados a partir de comentários brutos: 77,9% contra 69,5%, em média, uma diferença de 8,4 pontos percentuais estatisticamente significativa (p < 0,001). O ganho não foi uniforme entre as tarefas.
- Na remarcação de voo, a vantagem da pesquisa sintetizada foi de 11,4 pontos percentuais.
- No checkout, foi de 5,5 pontos percentuais, menor, mas no mesmo sentido.
O caso da remarcação de voo mostra o que essa diferença significa na prática. Alguns comentários brutos reclamavam de perda de milhas de fidelidade na remarcação, mas nenhum design gerado a partir dos comentários crus incluiu informação sobre o impacto nas milhas; todo design gerado a partir da pesquisa sintetizada incluiu. No checkout, vários comentários reclamavam que itens somem do carrinho durante o processo: menos da metade dos designs baseados em dado bruto manteve os itens e o total visíveis em todas as etapas, contra quase todos os baseados em pesquisa sintetizada.
Gerar uma interface é só uma parte do design. Entender quais problemas do usuário importam para o seu produto e traduzir esse entendimento em recomendações de design continuam sendo uma contribuição essencial dos profissionais de UX, sejam os designs criados por humanos ou por IA.
No original: Generating an interface is just one part of design. Understanding which user problems matter for your product and translating that understanding into design recommendations remain an essential contribution of UX professionals, whether the designs are created by humans or AI.
O ganho menor no checkout tem explicação: o próprio prompt da tarefa já descrevia uma compradora de primeira viagem, com cupom de desconto, precisando do presente em até dois dias — o que já sinalizava parte dos problemas que os comentários também levantavam. Quando o prompt faz parte do trabalho de interpretação, sobra menos espaço para a síntese fazer diferença.
Por que dado bruto não chega lá sozinho
A explicação das pesquisadoras é direta: dado bruto descreve problemas, não soluções. Um comentário como "os itens sumiram do meu carrinho" nomeia uma frustração, mas não diz o que construir em resposta. E mesmo quando o usuário sugere uma correção, a sugestão não é um guia confiável: pessoas são boas em descrever problemas e ruins em prever o que de fato usariam.
Sem a camada de síntese, é a IA quem precisa decidir sozinha o que importa e que mudança fazer — decisão difícil porque, na prática, feedback de usuário é só um dos insumos. Designers pesam feedback contra necessidade de negócio, restrição técnica, objetivo de produto e o que o time já tentou antes. Ferramentas de IA não lidam bem com esse tipo de trade-off sem orientação humana.
Gerar uma interface é só uma parte do design. Entender quais problemas do usuário importam para o seu produto e traduzir esse entendimento em recomendações de design continuam sendo uma contribuição essencial dos profissionais de UX, sejam os designs criados por humanos ou por IA.
Megan Chan e Rachel Banawa, pesquisadoras da Nielsen Norman GroupGenerating an interface is just one part of design. Understanding which user problems matter for your product and translating that understanding into design recommendations remain an essential contribution of UX professionals, whether the designs are created by humans or AI.
O que isso muda para quem decide o que o time constrói
Para product designers e PMs que já colocam ferramentas de IA no meio do fluxo de descoberta, o recado é concreto: o gargalo não é a capacidade do modelo de processar volume de dado, é a qualidade da interpretação que chega até ele. As pesquisadoras chamam isso de UX-context design: a prática de selecionar, organizar e manter o conhecimento de UX que guia um design gerado por IA, como uma segunda audiência ao lado das pessoas do time.
Na prática, isso muda a ordem das etapas de um projeto com IA no meio. Antes de colar a transcrição de entrevista ou a exportação de comentários de app store num prompt, vale perguntar se alguém já transformou aquilo em achado (o que o dado significa) e recomendação (o que fazer a respeito). Pular essa etapa não economiza trabalho: transfere a decisão de interpretação para a IA, que tem menos contexto de negócio para fazer essa escolha bem.
Isso também reposiciona o papel do pesquisador de UX num time que usa IA pesado. A síntese de pesquisa deixa de ser só um artefato para a equipe ler; vira insumo direto de qualidade do que a IA entrega, mensurável em pontos percentuais de acerto num scorecard.
O que ainda falta responder
As próprias autoras colocam limites no resultado. A base de dados era pequena, cerca de 100 comentários curtos por tarefa, e provavelmente mais limpa que feedback real: mais da metade dos comentários de cada tarefa sustentava algum achado, enquanto pesquisa sobre avaliações de app store (citada no estudo) encontrou utilidade em só cerca de um terço das reviews. As duas tarefas escolhidas, formulário e checkout, também são padrões de design que um modelo provavelmente já viu muitas vezes.
A expectativa das pesquisadoras é que a vantagem da pesquisa sintetizada cresça com bases maiores, mais confusas e com problemas de design menos familiares para o modelo.
Ficam em aberto, também: se o ganho se restringe aos pontos específicos cobertos pelos achados ou se vaza para outros aspectos do design; se o resultado se repete com transcrição de entrevista, nota de teste de usabilidade ou resposta de survey; se outros modelos de IA reproduzem o padrão; e quanto do benefício vem da síntese em si versus da recomendação explícita de design. A NN/g já sinaliza que pretende investigar essas perguntas em estudos futuros, inclusive separando o efeito de achados e de recomendações.
Fonte: Nielsen Norman Group
Highlights
- IA gera designs 8,4 pontos percentuais melhores com pesquisa sintetizada versus dados brutos
- Na remarcação de voo, ganho foi de 11,4 pontos; no checkout, 5,5 pontos percentuais
- Dado bruto descreve problemas, não soluções; IA precisa de recomendações explícitas
- Síntese de pesquisa deixa de ser artefato interno e vira insumo mensurável da qualidade IA
- Estudo testou 8 designs por tarefa com avaliador humano e juiz LLM com 96% de concordância
Este artigo foi escrito por Yara Uchôa, colunista de UX e product design. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.
Teresa Torres transforma seu processo de revisão anual em plugin do Claude Code
Teresa Torres, da Product Talk, passou a rodar seu ritual de metas de fim de ano com o Claude e virou o fluxo em um plugin do Claude Code. O que ela aprendeu vale pra quem planeja produto, não só vida pessoal.














