Avaliação aponta que ChatGPT erra em 50% dos conselhos

Dois estudos internacionais indicam falhas da IA na saúde: cerca de metade das respostas é incorreta ou problemática, e em diagnóstico houve erro em oitenta por cento dos casos analisados.
Em uma bateria com cinquenta perguntas sobre saúde, cinco ferramentas de IA (Gemini, DeepSeek, Meta AI, ChatGPT e Grok) mostraram respostas assertivas e, em vinte por cento dos casos, podem indicar orientação perigosa; duas perguntas não receberam resposta.
Em diagnóstico, 29 casos clínicos reais resultaram em oitenta por cento de erros; o desempenho aumenta quando há informações adicionais do paciente.
O pesquisador Nicholas Tiller ressalta que o tom confiante das respostas contribui para a credibilidade errônea; o Grok apresentou viés anti-científico em um item sobre covid.
As empresas de IA reconhecem limitações e ampliam equipes de saúde para treinamento: Meta contratou mais de mil médicos; a OpenAI afirma ter mais de duzentos médicos trabalhando para aprimorar as ferramentas.

Dois estudos internacionais apontam falhas preocupantes no uso de IA para questões de saúde. Em uma avaliação, 50% das respostas de chatbots eram incorretas ou problemáticas, enquanto outra análise mostrou erros de diagnóstico em 80% dos casos.

O pesquisador Nicholas Tiller, da UCLA, conduziu o teste com 5 ferramentas populares: Gemini, DeepSeek, Meta AI, ChatGPT e Grok. Foram 250 perguntas sobre temas como vacinas, câncer e 5G. Claude não participou do experimento em 2025.

Em relação ao diagnóstico, 29 casos reais de referência médica foram usados. As respostas erradas ocorreram em 80% dos cenários; respostas prematuras e falhas de raciocínio foram observadas. O estudo ressalta que detalhes do paciente elevam o desempenho.

Entre as plataformas avaliadas, Grok apresentou vieses anti-científicos em perguntas sobre covid e vacina. Outras ferramentas também mostraram inconsistências e risco de dano em certos conselhos médicos. Quase todas as consultas geraram respostas com base em padrões, não em avaliação clínica.

Paralelamente, levantamento com usuários de saúde no Brasil aponta uso expressivo de IA para dúvidas médicas. Sete em cada dez brasileiros recorrem a assistentes de IA; entre crônicos, o índice chega a 81,4%, e entre saudáveis, 61,6%.

As dúvidas mais comuns envolvem sintomas gerais, febre e alimentação, somando quase 60% das pesquisas. Profissionais de saúde e pesquisadores destacam necessidade de cautela e verificação de informações.

Empresas de IA já sinalizam medidas de melhoria. A Meta disse ter contratado mais de 1.000 médicos para aperfeiçoar o treinamento de modelos, enquanto a OpenAI afirmou ter mais de 250 médicos dedicados a esse objetivo.

Analistas ressaltam que, diante da demanda, as ações são modestas, ainda aquém do necessário para uso seguro na saúde. O debate sobre confiabilidade e responsabilidade das IA continua em aberto.