Um checklist de quatro perguntas decide se vale adicionar IA ao produto

O recurso que funcionava e ainda assim falhou

Um time de produto de uma grande seguradora de saúde construiu uma IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → para escrever, do zero, o parecer completo de especialistas que analisam recursos de negativa de cobertura. A tecnologia funcionava exatamente como especificada. Mesmo assim, os especialistas pararam de usá-la, e os poucos que continuaram levavam mais tempo por caso do que quem simplesmente ignorava a ferramenta.

Uma avaliação rápida com os próprios especialistas, relatada pelo pesquisador de UX↳UX33 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025UX, IA e Front-End: quando experiência, inteligência e código se encontram para criar o futuro digitalProduto & UX · jul 2025Novidades em UX/UI para 2025: O futuro do design de experiências digitaisProduto & UX · abr 2025Ver tudo em Produto & UX → Victor Yocco em artigo publicado na Smashing Magazine neste mês, achou o problema em pouco tempo: ler um parecer escrito por IA com cuidado suficiente para assinar embaixo levava tanto tempo quanto escrever um do zero, e o especialista ainda precisava checar erros que jamais cometeria sozinho. O recurso somava trabalho a uma tarefa que essas pessoas já dominavam.

A segunda versão do produto resolveu o problema invertendo o que a IA fazia. Em vez de escrever o parecer, ela passou a reunir as cláusulas da apólice e decisões anteriores relevantes para cada caso, deixando a redação com o especialista. A etapa de busca desapareceu, o tempo de revisão caiu, e a parte do trabalho em que o especialista é bom continuou com ele. A tecnologia era a mesma nas duas versões; o que mudou foi qual pedaço da tarefa a IA assumiu.

A linha de equilíbrio entre o que a IA devolve e o que ela custa

Toda mudança de interface cobra algo do usuário antes de pagar qualquer coisa de volta: reconstruir o modelo mental de como a ferramenta funciona, aprender onde as coisas estão agora e decidir o quanto confiar no que a IA entrega. Yocco cita a revisão de Nelson Cowan sobre memória de trabalho (2001), que limita isso a cerca de quatro itens mantidos em mente ao mesmo tempo — e as três tarefas acima competem pela mesma capacidade limitada.

Em produtos corporativos, um recurso de IA pede mais do usuário do que um menu redesenhado, porque muda o que a pessoa faz o dia inteiro. Entregar a síntese para a IA transforma o usuário em conferente; entregar também a recomendação reduz o trabalho a uma assinatura. Um estudo de Sophia Ackerhans e colegas (2025) encontrado por Yocco mostra isso em medicina: médicos que precisavam assinar decisões assistidas por IA relataram ameaça à identidade profissional, e explicações sobre o raciocínio da IA aumentavam ao mesmo tempo a confiança e essa ameaça.

Um recurso de IA só se justifica quando o que ele devolve supera o que custa ao usuário se ajustar, para um usuário realizando uma tarefa.

Victor Yocco, pesquisador de UX e autor de Designing Agentic AI ExperiencesAn AI feature earns its place when what it returns beats what it costs the user to adjust, for one user doing one task.

Yocco chama esse ponto de break-even line: o retorno vem de três formas — esforço removido, erros que a IA captura e que a pessoa deixaria passar, e consistência entre pessoas fazendo o mesmo trabalho. Um sistema de triagem de fraude que levanta alertas que o analista nunca levantaria sozinho é um exemplo de recurso acima dessa linha: custa atenção, mas a taxa de captura paga a conta.

As quatro perguntas do framework

Yocco propõe rodar quatro perguntas juntas, antes de qualquer trabalho de design começar, com alguém que faz a tarefa na vida real (um analista, um atendente, um especialista de sinistros). Uma conversa curta com essa pessoa revela onde o esforço mental realmente está e se o recurso ajudaria ou atrapalharia.

A pergunta 1 pede para contar tudo que a tarefa exige do usuário, incluindo a checagem que ele herda. Pré-preencher um campo de número de empréstimo, por exemplo, custa poucos segundos sem atenção sustentada no método manual; a IA que preenche esse campo transfere o custo para a checagem, em vez de eliminá-lo. Já uma IA que aponta as três cláusulas de 40 documentos que conflitam com a política de crédito corta esforço de verdade, porque o analista estava pensando, não digitando.

A pergunta 2 compara a IA contra o jeito que o usuário já resolve a tarefa, planilhas e gambiarras incluídas. Num exemplo de RH citado por Yocco, usar IA para achar combinações de competências internas que ninguém pensaria em buscar vence por ambiguidade e escala; já redigir o e-mail de notificação ao candidato perde para o método atual, porque o formato é familiar, a redação leva dois minutos e quem envia tem opiniões firmes sobre o tom.

Visibilidade do erro e o viés da automação

A pergunta 3 separa erros visíveis de erros invisíveis. Um planejador de viagens com IA que sugere um museu fechado no dia produz um erro que não aparece em lugar nenhum da tela; o viajante só descobre na porta trancada em Tóquio. Um voo que parte antes do voo de conexão pousar é um erro visível, porque a contradição está ali, na própria tela.

A revisão de décadas de pesquisa em fatores humanos feita por Raja Parasuraman e Dietrich Manzey (2010) mostra que pessoas confiam em saídas automatizadas mesmo quando elas estão erradas, em aviação, medicina e controle de processos. Essa confiança cresce rápido e raramente como decisão consciente — e, uma vez instalada, o usuário para de aplicar o escrutínio que pegaria o erro. É por isso que Yocco recomenda mapear a superfície de erro antes do design: listar os três tipos de erro mais prováveis, classificar cada um por visibilidade e consequência, e transformar qualquer combinação de baixa visibilidade com alta consequência em requisito de proveniência.

O que acontece com o julgamento depois de um ano

A pergunta 4 é a mais negligenciada, segundo Yocco, e a mais cara de ignorar. Um experimento de Thomas Dratsch e colegas (2023) pôs 27 radiologistas para ler mamografias ao lado de sugestões de um sistema simulado de IA. Depois de um treino com sugestões sempre corretas, veio um lote de 40 imagens com sugestões erradas plantadas em 12 delas.

O resultado: os radiologistas mais experientes, com média de 15 anos de prática, acertaram a categoria certa em 82,3% dos casos quando a sugestão estava certa, mas só em 45,5% quando estava errada. Nos menos experientes, o acerto caiu de 79,7% para 19,8%. A experiência amenizou o efeito, mas não o impediu. Um ano delegando o mesmo julgamento, sem exercitá-lo, deixa o profissional em posição pior do que a desses radiologistas no início do experimento.

O mecanismo que Yocco recomenda para não chegar lá é simples: revisão cega periódica, em que o usuário forma sua própria opinião antes de ver o que a IA produziu; rodízio de uma fatia dos casos sem assistência de IA; ou comparação semanal entre a saída da máquina e uma versão feita por humano. Uma linha no manual de treinamento não resolve — o mecanismo precisa estar no fluxo de trabalho.

O mesmo teste aplicado a resumos de reunião

Yocco roda a auditoria também num recurso comum em produtos de colaboração: o resumo automático de reunião. Na pergunta 1, o resultado varia por segmento — quem nunca tomava nota ganha esforço líquido, mas quem sempre fez as atas e as distribuía herda a checagem, e a resposta muda conforme quem está do outro lado da tela.

Na pergunta 2, o resumo vence a alternativa de alguém digitando enquanto ouve pela metade, que produz notas incompletas. Na pergunta 3, um resumo que atribui um compromisso à pessoa errada parece idêntico a um correto, e ninguém relê a transcrição para checar — baixa visibilidade com consequência real vira requisito de timestamp vinculado a cada item de ação. Na pergunta 4, ninguém perde uma habilidade que valha proteger ao abandonar a ata manual, então o recurso passa sem precisar de mecanismo extra.

A versão de 60 minutos, para rodar antes do próximo roadmap

Yocco fecha o artigo com uma versão compacta da auditoria, pensada para caber numa reunião:

1. Descreva a tarefa com precisão (10 min). No nível de um usuário, numa sessão só. "Ajudar um analista financeiro pleno a achar os três itens de maior risco num relatório de 40 páginas, numa janela de revisão de duas horas" funciona; "ajudar usuários a resumir documentos" é vago demais para avaliar.
2. Responda as quatro perguntas com quem faz o trabalho (25 min). A leitura de quem executa a tarefa sobre onde o esforço realmente está vale mais do que qualquer estimativa do time de produto.
3. Mapeie a superfície de erro (15 min). Liste os três tipos de erro mais prováveis e classifique cada um por visibilidade e consequência.
4. Escreva as condições no briefing (10 min). Exibição de proveniência, prompts de verificação, escopo de segmento e mecanismo de retenção de habilidade entram no mesmo documento que descreve o recurso, não num anexo depois.

O que isso muda para quem decide o que entra no roadmap

Yocco cita o conceito de pro-innovation bias de Everett Rogers (2003): a suposição de que nova capacidade já é progresso, antes que alguém verifique o benefício, turbinada pela pressão competitiva de um anúncio do concorrente virar mandato interno. A auditoria de quatro perguntas não substitui a decisão de construir ou não — orçamento, estratégia e compromissos já assumidos continuam pesando, e nenhuma pergunta enxerga isso.

O valor prático está em trazer condições, não um veredito de sim ou não, para a reunião de revisão de produto. Nomear o segmento que o recurso serve já transforma a resposta em um "sim" para alguém. Entregar a superfície de erro como requisito com custo associado dá a um PM algo em que agir — uma exigência de timestamp atrás de cada decisão atribuída, por exemplo —, o que uma preocupação vaga sobre "os usuários talvez não confiem" nunca consegue fazer sozinha.

Fonte: Smashing Magazine