OpenAI revela aumento nas alucinações dos modelos o3 e o4-mini em testes internos

OpenAI identifica aumento de “alucinações” em novos modelos de IA

A OpenAI revelou que seus novos modelos de raciocínio, o3 e o4-mini, apresentam taxas de respostas incorretas ou inventadas – as chamadas “alucinações” – quase duas vezes maiores do que o modelo o1. A informação foi divulgada após testes internos realizados pelo sistema de avaliação PersonQA, desenvolvido pela própria empresa.

Os modelos o3 e o4-mini foram lançados recentemente com foco em aprimorar a programação, navegação na web e geração de imagens. Apesar das melhorias, os testes indicaram um aumento significativo na produção de informações imprecisas. O o4-mini atingiu uma taxa de alucinações de 48%, superando os resultados do o1 e o3.

A OpenAI explica que modelos menores, como o o4-mini, tendem a apresentar mais alucinações devido ao menor conhecimento do mundo. A empresa ressalta que o aumento era esperado, mas segue investigando as causas do problema. “Combater as alucinações em todos os modelos é uma área de pesquisa contínua”, afirmou Niko Felix, porta-voz da OpenAI, ao TechCrunch.

O modelo o3 também apresentou um aumento nas alucinações, atingindo 33% das respostas, em comparação com o o1. A avaliação PersonQA mede a precisão das respostas dos modelos, analisando dois critérios principais. A OpenAI busca entender o motivo do aumento das alucinações especificamente nos modelos de raciocínio.

A empresa detalhou que o o3 tende a fazer mais afirmações em geral, o que pode levar tanto a respostas mais precisas quanto a informações imprecisas. Apesar dos resultados, a OpenAI garante que a precisão e a confiabilidade dos modelos continuam sendo prioridade. A empresa se comprometeu a aprimorar os modelos para reduzir a ocorrência de alucinações.