A Common Sense Media publicou, na terça (14), um estudo que classificou a busca com IA do Google como “risco inaceitável” para crianças. Além do impacto óbvio para pais e escolas, o relatório entrega algo raro: um retrato público de como sistemas de IA falham em produção. Portanto, vale ler como documentação técnica, não como notícia de comportamento.

Afinal, os erros descritos não são exóticos. Pelo contrário, são exatamente os mesmos que aparecem em qualquer produto com LLM na frente do usuário.

Google acertou 58% onde o mínimo aceitável era 95%: a matemática que derruba sua feature

Os pesquisadores simularam contas de usuários entre 11 e 15 anos, com SafeSearch ativo. Em seguida, rodaram mais de 2.600 buscas e analisaram mais de 2 mil respostas.

O número mais duro apareceu nas simulações de crise de saúde mental. Ali, a Visão Geral de IA detectou sinais claros de sofrimento em apenas 58% dos casos. Enquanto isso, o limite considerado aceitável pelo estudo era 95%.

Ou seja, a diferença não é de tuning. É de arquitetura.

Na prática, a lição para quem constrói é direta. Antes de definir a métrica de sucesso, defina o custo do falso negativo. Depois, calibre o threshold a partir desse custo, e não a partir da média geral de acerto. Aliás, é aí que muita equipe erra: otimiza accuracy agregada enquanto a cauda crítica sangra.

Google respondeu que as queries eram “artificiais”: você já usou essa mesma defesa?

A empresa contestou o estudo. Segundo o Google, os testes usaram consultas ambíguas e artificiais, que não refletem o uso real da busca. A big tech também argumentou que os recursos de IA não devem ser avaliados de forma isolada.

Contudo, esse argumento merece atenção redobrada de quem escreve código. Ele é tecnicamente razoável e, ao mesmo tempo, perigoso.

É razoável porque avaliação fora de contexto realmente distorce resultado. No entanto, é perigoso porque “usuário real não faz isso” é a frase que antecede quase todo incidente de produção. Adolescente em crise, por exemplo, digita mal. Digita ambíguo. Digita gíria.

Logo, a query artificial de hoje costuma ser o comportamento real de amanhã.

Google entregou resposta em 100% das lições de casa, e esse foi o problema

O estudo apontou que a versão com IA respondeu 100% das consultas de tarefa escolar. Bastava colar o enunciado na caixa de busca.

Porém, muitas respostas eram inconsistentes ou completamente inventadas. Assim, o sistema induzia o estudante ao erro em vez de apoiar o aprendizado. Três quartos dos pré-adolescentes e adolescentes americanos já usam esses resumos, conforme os especialistas.

John B. King Jr., ex-secretário de educação dos EUA e consultor do Instituto de Segurança de IA para Jovens, chamou o cenário de desastre para o aprendizado. Para ele, a lição de casa serve justamente para o aluno praticar e construir conhecimento.

Aqui mora um antipadrão que devs conhecem bem: cobertura de 100% sem taxa de abstenção. Ou seja, o sistema nunca diz “não sei”. Por isso, ele preenche o vazio com alucinação.

Em resumo, sua feature de IA precisa de um caminho de recusa. Sem ele, a métrica de cobertura vira métrica de invenção.

Indicou instituição que morreu em 2023: seu conteúdo estático também apodrece

Em alguns casos, o recurso sugeriu ajuda em instituições que já não existem. A Associação Nacional de Transtornos Alimentares, desativada em 2023, apareceu entre as recomendações. Além disso, o buscador validou comportamentos perigosos e chegou a fornecer instruções para geração de deepfakes.

Esse é um bug de dados, não de modelo. Consequentemente, ele não se resolve com prompt melhor.

Recursos de crise mudam. Telefones mudam. ONGs fecham. Dessa forma, qualquer resposta sensível precisa buscar a informação em uma fonte viva e versionada, com data de validação explícita. Do contrário, você está servindo um snapshot congelado com cara de verdade atual.

Google diz oferecer camadas extras, mas o opt out ainda não existe

O estudo também relatou a impossibilidade de desativar a Visão Geral de IA e o Modo IA. Em resposta, a companhia destacou que oferece camadas extras de proteção, como o SafeSearch, ativáveis pelos pais. A empresa afirmou ainda que investe continuamente em detecção de consultas sensíveis, avisos em casos de crise e redução de respostas inadequadas.

Ainda assim, resta uma questão de design que todo time deveria discutir. Uma camada de IA sem toggle deixa de ser feature e passa a ser infraestrutura. Portanto, ela herda toda a responsabilidade de um sistema crítico.

Se o usuário não pode sair, o sistema precisa ser correto por padrão. Simples assim.

O checklist que sai deste estudo

Antes de subir a próxima feature com LLM, revise estes pontos:

Defina classes de risco. Nem toda query tem o mesmo custo de erro. Portanto, separe rotas críticas do fluxo comum.

Meça a cauda, não a média. Um agregado bonito esconde falha total em subconjunto pequeno e grave.

Implemente abstenção. O modelo precisa poder recusar. Além disso, a recusa precisa levar a algum lugar útil.

Aposente dados sensíveis. Contatos e instituições exigem revalidação periódica automatizada.

Teste queries “artificiais”. Justamente elas revelam o comportamento em situação real de estresse.

Dê saída ao usuário. Toggle é respeito, e também é redução de superfície de risco.

O verdadeiro takeaway não é sobre o Google

O caso é grande porque a empresa é grande. Contudo, a falha é genérica.

Qualquer produto que coloca um modelo entre a pergunta e a pessoa herda esse conjunto de problemas. Aliás, o tamanho da equipe não protege ninguém. O que protege é avaliação honesta, threshold definido pelo custo real e disposição para o sistema dizer “não sei”.

Em resumo: cobertura total não é qualidade. É só ausência de freio.

Acompanhe nosso perfil no Instagram!