Estudo revela que menos é mais na análise de textos por IAs generativas

Um estudo da Universidade Hebraica de Jerusalém revelou que analisar menos documentos relevantes pode resultar em respostas mais precisas por parte de programas de inteligência artificial generativa, como ChatGPT e Claude.AI. A pesquisa, intitulada "Lost in the Middle", avaliou modelos como GPT, LLaMA, Gemma e Qwen-2, demonstrando que o excesso de informações pode confundir os sistemas, comprometendo a qualidade das respostas.

Os pesquisadores descobriram que, ao processar apenas dois a quatro documentos relevantes, a precisão das respostas aumentou em até dez por cento. Essa abordagem contraria a crença de que mais dados sempre melhoram o desempenho das IAs. A técnica utilizada, chamada de Geração Aumentada por Recuperação (RAG), combina modelos de linguagem com bases externas de informações, mas a eficácia depende da seleção cuidadosa dos textos.

Além disso, o estudo indicou que as IAs têm melhor desempenho quando as informações relevantes estão no início ou no final dos textos analisados. O fenômeno conhecido como primacy bias (tendência a valorizar o que aparece primeiro) e recency bias (tendência a valorizar o que aparece por último) afeta a precisão das respostas. Em alguns casos, o desempenho foi inferior ao de quando os modelos não receberam textos externos.

Por fim, a pesquisa destacou que modelos com janelas de contexto maiores não necessariamente se saem melhor com grandes volumes de informação. A capacidade de leitura não é suficiente; é crucial que as IAs sejam treinadas para identificar e focar nas informações mais relevantes, evitando a confusão gerada por dados excessivos.