Um estudo da Universidade Hebraica de Jerusalém mostrou que programas de inteligência artificial, como ChatGPT e Claude.AI, podem dar respostas mais precisas quando analisam menos documentos relevantes. A pesquisa, chamada “Lost in the Middle”, testou diferentes modelos de IA e descobriu que, ao usar apenas dois a quatro textos importantes, a precisão das respostas aumentou em até dez por cento. Isso desafia a ideia de que mais informações sempre ajudam. A técnica usada, chamada Geração Aumentada por Recuperação, combina modelos de linguagem com informações externas, mas é importante escolher bem os textos. Além disso, as IAs se saem melhor quando as informações importantes estão no começo ou no final dos textos, devido a tendências de atenção. O estudo também revelou que ter mais capacidade de leitura não garante melhores resultados com muitos dados. É essencial que as IAs aprendam a focar nas informações mais relevantes para evitar confusões.
Um estudo da Universidade Hebraica de Jerusalém revelou que analisar menos documentos relevantes pode resultar em respostas mais precisas por parte de programas de inteligência artificial generativa, como ChatGPT e Claude.AI. A pesquisa, intitulada “Lost in the Middle”, avaliou modelos como GPT, LLaMA, Gemma e Qwen-2, demonstrando que o excesso de informações pode confundir os sistemas, comprometendo a qualidade das respostas.
Os pesquisadores descobriram que, ao processar apenas dois a quatro documentos relevantes, a precisão das respostas aumentou em até dez por cento. Essa abordagem contraria a crença de que mais dados sempre melhoram o desempenho das IAs. A técnica utilizada, chamada de Geração Aumentada por Recuperação (RAG), combina modelos de linguagem com bases externas de informações, mas a eficácia depende da seleção cuidadosa dos textos.
Além disso, o estudo indicou que as IAs têm melhor desempenho quando as informações relevantes estão no início ou no final dos textos analisados. O fenômeno conhecido como primacy bias (tendência a valorizar o que aparece primeiro) e recency bias (tendência a valorizar o que aparece por último) afeta a precisão das respostas. Em alguns casos, o desempenho foi inferior ao de quando os modelos não receberam textos externos.
Por fim, a pesquisa destacou que modelos com janelas de contexto maiores não necessariamente se saem melhor com grandes volumes de informação. A capacidade de leitura não é suficiente; é crucial que as IAs sejam treinadas para identificar e focar nas informações mais relevantes, evitando a confusão gerada por dados excessivos.
Entre na conversa da comunidade