OpenAI descobre motivo das ‘alucinações’ do ChatGPT em busca de precisão

Pesquisadores da OpenAI publicaram um estudo que investiga as “alucinações” em modelos de linguagem, como o GPT-5 e o Claude. O fenômeno, que se refere à geração de informações falsas apresentadas com confiança, continua a ser um desafio significativo para a confiança nas tecnologias de IA.

O estudo, intitulado “Hallucinations in Language Models: Causes, Consequences, and Countermeasures”, sugere que as métricas de avaliação atuais incentivam respostas arriscadas. Em vez de promover a admissão de incertezas, essas métricas recompensam respostas completas, mesmo que incorretas. Isso leva os modelos a arriscarem palpites, em vez de reconhecerem quando não têm informações suficientes.

Os pesquisadores relataram que, ao questionar um chatbot sobre o título da tese de doutorado de Adam Kalai, o modelo forneceu três respostas diferentes, todas erradas. Esse padrão se repetiu ao perguntar sobre sua data de aniversário. A OpenAI explica que o problema está no pré-treinamento dos modelos, que aprendem a prever palavras sem considerar a veracidade das informações.

Mudanças Necessárias

O estudo propõe que as métricas de avaliação sejam reformuladas. Os modelos deveriam ser recompensados por indicar incerteza e punidos por erros cometidos com confiança excessiva. Essa mudança poderia estimular respostas mais cautelosas e precisas. Além disso, a OpenAI sugere que métodos quantitativos, como o estimador Good-Turing, podem ajudar a calibrar a confiança dos modelos, reduzindo a geração de respostas inventadas.

Os pesquisadores também destacam que alguns modelos, como o Claude, demonstram maior consciência de sua própria incerteza, embora isso possa limitar a quantidade de respostas fornecidas. A OpenAI não comentou oficialmente sobre o estudo, mas enfatizou em seu blog que a reformulação das métricas de avaliação é crucial para aumentar a confiabilidade das IAs.

À medida que a inteligência artificial avança, é essencial que tanto desenvolvedores quanto usuários estejam cientes das limitações e riscos associados a essas tecnologias. O estudo da OpenAI ressalta a necessidade de uma abordagem mais cuidadosa no uso de sistemas de IA, especialmente em contextos onde a precisão é fundamental.