Um estudo mostra que modelos de IA de linguagem falham na geração de diagnósticos diferenciais precoces em mais de 80% dos casos, sugerindo que não estão prontos para uso clínico não supervisionado. A pesquisa envolve modelos amplos de IA aplicados a cenários clínicos simulados.
Pesquisadores do Mass General Brigham, grande rede hospitalar de Boston, avaliaram 21 LLMs, incluindo Claude, GPT, Gemini e Grok, em 29 vinhetas clínicas padronizadas. O objetivo foi medir habilidades de raciocínio médico em etapas diferentes.
Metodologia e cenário de teste
Os modelos foram testados com informações progressivas: idade, sexo, sintomas, exame físico e resultados de laboratório. Um instrumento próprio, o PrIME-LLM, avaliou diagnóstico inicial, pedidos de exames, diagnóstico final e planejamento de tratamento.
Os resultados mostraram alto acerto no diagnóstico final, mas desempenho fraco para o passo crítico de criar um diagnóstico diferencial. A variabilidade entre modelos foi grande conforme o conjunto de dados.
Principais implicações
Autores ressaltam que, mesmo com avanços, IA comercial não está pronta para implantação clínica sem supervisão humana constante. O estudo enfatiza a necessidade de intervenção clínica humana na tomada de decisões.
Especialistas externos destacam a importância do julgamento humano. Embora as IA possam auxiliar, o veredito final em saúde não deve depender apenas de máquinas. Consultas com profissionais continuam essenciais.
Destaques e próximos passos
Entre os modelos mais promissores, destacam-se Grok 4, GPT-5, GPT-4.5, Claude 4.5 Opus e Gemini 3.0. Os pesquisadores sugerem que melhorias devem priorizar raciocínio clínico estruturado e manejo de incertezas.
Entre na conversa da comunidade