A IA superou os médicos? Ou apenas venceu uma competição que ela mesma ajudou a simular?

Após ler e analisar o estudo publicado pela Microsoft (https://microsoft.ai/news/building-medical-superintelligence/), troquei ideias com um amigo médico, que também é cientista de dados↳Engenharia de dados43 conteúdosResolvendo desafios de Big Data com Ciência de Dados na UberData · abr 2019Análise de dados com Python e tabelas dinâmicas com PandasData · mai 2019Ferramentas para análise de dados são cada vez mais fundamentais para auxiliar pessoas desenvolvedorasData · jun 2024Ver tudo em Data →, e chegamos a uma conclusão: estamos diante de uma pesquisa relevante, mas cuja divulgação permite interpretações muito mais abrangentes do que as evidências apontam.

A Microsoft anunciou que seu sistema de diagnóstico, o MAI-DxO, alcançou uma taxa de acerto aproximadamente 1,7 vez maior que a de médicos avaliados em casos provenientes de atendimentos de emergência: cerca de 80% de diagnósticos corretos, contra 47% dos profissionais participantes. É um resultado expressivo. Mas não demonstra que a IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → seja superior a médicos atendendo pacientes reais em prontos-socorros.

O experimento ocorreu em um ambiente simulado, utilizando casos derivados de registros clínicos reais e apresentados por uma interface conversacional. Não houve atendimento direto a pacientes nem avaliação de resultados assistenciais.

O sistema utiliza uma arquitetura que orquestra modelos de linguagem para reproduzir aspectos de uma discussão entre especialistas. Formula hipóteses, solicita informações e exames, reavalia possibilidades e propõe um diagnóstico. É uma evolução importante em relação aos benchmarks tradicionais, nos quais o modelo recebe um caso completo e simplesmente apresenta uma resposta.

Os médicos participantes também resolveram casos simulados. Eram profissionais generalistas, incluindo médicos de atenção primária e clínica médica, não uma amostra representativa de especialistas em medicina de emergência atuando em condições reais.

Há ainda uma comparação que considero mais relevante para a prática clínica e que o estudo não realizou: médicos utilizando IA versus médicos trabalhando sem ela. Afinal, o objetivo não deveria ser demonstrar que a tecnologia vence uma competição contra profissionais, mas verificar se contribui para decisões melhores e atendimento mais seguro.

Outro aspecto está na seleção dos casos. A avaliação utilizou registros de atendimentos de emergência de um hospital acadêmico americano, selecionando pacientes com internação e diagnóstico documentado.

Esse recorte permite investigar capacidades diagnósticas, mas não representa necessariamente a diversidade encontrada em um pronto-socorro, onde convivem doenças graves, condições comuns, sintomas inespecíficos e pacientes sem uma patologia claramente identificável.

Acertar o diagnóstico final de casos selecionados não equivale a demonstrar capacidade de distinguir, com segurança, quem apresenta determinada doença de quem não a apresenta. Para isso, são necessárias avaliações apropriadas de sensibilidade, especificidade, calibração e consequências clínicas dos erros.

Talvez o aspecto metodológico mais interessante esteja na própria simulação. O sistema solicitava informações e exames a um componente denominado Gatekeeper, também baseado em modelo de linguagem. Quando determinada informação não constava do registro original, o ambiente podia gerar respostas sintéticas.

Imagine que o sistema solicite um exame não realizado no atendimento original. Se o simulador produzir um resultado coerente com o diagnóstico conhecido, poderá fornecer pistas que não existiam nos dados clínicos reais.

Isso não comprova manipulação ou vazamento de respostas, mas introduz um risco metodológico importante: parte do desempenho pode depender das características do simulador, e não apenas da capacidade diagnóstica do sistema.

Os pesquisadores realizaram controles para investigar esse problema. Ainda assim, informações sintéticas não são automaticamente equivalentes a evidências clínicas independentes.

Há também a questão da generalização. Um sistema avaliado com registros de determinado hospital pode apresentar desempenho diferente em instituições com outros perfis epidemiológicos, protocolos e condições de atendimento.

No Brasil, isso é particularmente relevante. Resultados obtidos com registros de um hospital acadêmico americano não podem ser automaticamente extrapolados para a realidade heterogênea do SUS, das unidades de pronto atendimento e dos serviços com recursos limitados.

O estudo também explorou custos estimados dos exames solicitados. Entretanto, a configuração de maior acurácia não é necessariamente a de menor custo, e economias calculadas em simulação não equivalem diretamente a reduções de despesas hospitalares.

Esses aspectos evidenciam uma distinção fundamental: desempenho em benchmark, utilidade clínica e segurança assistencial são dimensões diferentes. Um benchmark mede o comportamento do sistema em condições definidas. A utilidade clínica exige demonstrar melhorias nas decisões e nos processos de atendimento. A segurança depende de compreender os erros, suas consequências e a relação entre benefícios e riscos.

O próximo passo é avançar para validações externas e estudos prospectivos que comparem a prática habitual com o atendimento apoiado por IA, considerando também os resultados para os pacientes.

Reconhecemos o mérito da pesquisa. Construir um benchmark interativo, capaz de avaliar decisões diagnósticas sequenciais, representa um avanço metodológico. A própria Microsoft anunciou uma iniciativa prospectiva com o Beth Israel Deaconess Medical Center.

O problema que vejo não está na pesquisa, mas na distância entre o que ela demonstra e o que sua divulgação pode levar o público a acreditar.

Quando se anuncia que uma IA é 1,7 vez mais precisa que médicos em casos de emergência, quem lê apenas a manchete pode concluir que a tecnologia já demonstrou superioridade sobre profissionais experientes atendendo pacientes reais.

Essa interpretação ultrapassa as evidências disponíveis e pode influenciar decisões de gestores hospitalares, investidores, reguladores e pacientes.

Tenho acompanhado a evolução da IA há décadas e considero extraordinário seu potencial para apoiar a medicina. Sistemas capazes de organizar informações clínicas, identificar inconsistências, sugerir hipóteses diagnósticas e apoiar decisões podem contribuir significativamente para a qualidade assistencial. Mas reconhecer esse potencial não exige antecipar conclusões que ainda dependem de validação clínica.

A conclusão da nossa conversa foi simples: a questão mais importante não é se uma IA consegue superar médicos em uma simulação, mas se médicos apoiados por uma IA adequadamente validada conseguem oferecer atendimento melhor e mais seguro a pacientes reais.

A IA médica não precisa de manchetes grandiosas para demonstrar seu valor. Precisa de evidências clínicas, transparência metodológica e responsabilidade sobre os resultados.

Vencer uma corrida em um simulador é impressionante. Mas não demonstra que se consegue vencer a mesma corrida em uma pista real. Na medicina, confundir essas duas coisas pode custar muito mais do que dinheiro.