Um estudo da Universidade Hebraica de Jerusalém revelou que analisar menos documentos relevantes pode resultar em respostas mais precisas por parte de programas de inteligência artificial generativa, como ChatGPT e Claude.AI. A pesquisa, intitulada “Lost in the Middle”, avaliou modelos como GPT, LLaMA, Gemma e Qwen-2, demonstrando que o excesso de informações pode confundir os sistemas, comprometendo a qualidade das respostas.
Os pesquisadores descobriram que, ao processar apenas dois a quatro documentos relevantes, a precisão das respostas aumentou em até dez por cento. Essa abordagem contraria a crença de que mais dados sempre melhoram o desempenho das IAs. A técnica utilizada, chamada de Geração Aumentada por Recuperação (RAG), combina modelos de linguagem com bases externas de informações, mas a eficácia depende da seleção cuidadosa dos textos.
Além disso, o estudo indicou que as IAs têm melhor desempenho quando as informações relevantes estão no início ou no final dos textos analisados. O fenômeno conhecido como primacy bias (tendência a valorizar o que aparece primeiro) e recency bias (tendência a valorizar o que aparece por último) afeta a precisão das respostas. Em alguns casos, o desempenho foi inferior ao de quando os modelos não receberam textos externos.
Por fim, a pesquisa destacou que modelos com janelas de contexto maiores não necessariamente se saem melhor com grandes volumes de informação. A capacidade de leitura não é suficiente; é crucial que as IAs sejam treinadas para identificar e focar nas informações mais relevantes, evitando a confusão gerada por dados excessivos.
Entre na conversa da comunidade