Inteligência artificial não reconhece limitações em suas respostas, revela estudo

Modelos de inteligência artificial (IA) têm se popularizado, mas frequentemente geram informações incorretas, um fenômeno conhecido como alucinação.
Um estudo da Universidade de Nanjing indica que as IAs reconhecem quando não sabem a resposta, mas ainda assim inventam informações.
Os pesquisadores realizaram testes com cinco mil e duzentas questões, analisando taxa de abstenção e precisão do raciocínio.
Durante os testes, as IAs apresentaram três comportamentos: se absteram corretamente, inventaram informações ou repetiram raciocínios inválidos.
O estudo sugere monitorar o raciocínio interno das IAs para melhorar a precisão das respostas, reforçando a opção de “não sei”. A Meta também está desenvolvendo um benchmark para avaliar a reação das IAs a perguntas sem resposta.

Modelos de inteligência artificial (IA) têm se tornado populares por fornecer respostas rápidas, mas frequentemente geram informações incorretas, um fenômeno conhecido como alucinação. Um estudo recente da Universidade de Nanjing revela que esses sistemas reconhecem quando não sabem a resposta, mas ainda assim inventam informações para evitar deixar o usuário sem resposta.

Os pesquisadores desenvolveram um conjunto de testes que combinou dois bancos de dados, totalizando 5.200 questões. A análise incluiu métricas como taxa de abstenção, precisão do motivo e eficiência no raciocínio. Os resultados mostraram que, quando incentivadas a se abster, as IAs se tornaram mais confiáveis sem comprometer o desempenho em questões solucionáveis.

Comportamentos das IAs

Durante os testes, foram observados três comportamentos principais das IAs ao se depararem com perguntas sem resposta. Em alguns casos, as IAs se abstiveram corretamente, utilizando expressões como “não sei”. Em outros, inventaram informações, como uma taxa fictícia de US$ 9,99. O terceiro padrão, denominado fixação cognitiva, fez com que o modelo repetisse raciocínios inválidos mesmo após perceber a impossibilidade de resolver a questão.

Os pesquisadores destacam que, apesar de os grandes modelos de linguagem possuírem mecanismos internos para identificar perguntas insolúveis, raramente assumem essa limitação. O design das IAs prioriza a entrega de respostas úteis, mesmo na ausência de dados, resultando em um desalinhamento entre a percepção da impossibilidade e a geração de respostas fabricadas.

Propostas de Melhoria

O estudo sugere que o monitoramento do raciocínio interno das IAs poderia melhorar a precisão das respostas. A proposta envolve detectar sinais de que o modelo já reconheceu a impossibilidade de resolver uma questão e reforçar a opção de “não sei” como resposta. Essa abordagem pode reduzir a frequência de respostas erradas e otimizar o uso de processamento.

A Meta também está explorando soluções semelhantes, com a criação do benchmark AbstentionBench, que avalia como os modelos reagem a mais de 35 mil perguntas sem resposta. O objetivo é desenvolver IAs que não apenas respondam melhor, mas que também reconheçam seus próprios limites, tornando as interações mais seguras e transparentes.