Estudo indica que rankings de LLMs recentes podem ser pouco confiáveis

Um estudo do MIT mostrou que plataformas de ranking de LLMs são sensíveis a pequenas frações de dados, o que pode distorcer os resultados.
Remover uma fração minúscula de votos crowdsourced pode mudar qual modelo aparece no topo para determinadas tarefas.
Os pesquisadores criaram um método rápido para testar plataformas, identificando quais votos são mais influentes para que possam ser verificados.
Plataformas com avaliadores especialistas e prompts de maior qualidade foram mais robustas; sugere-se coletar feedback mais detalhado e considerar mediadores humanos.
O trabalho ressalta que rankings nem sempre refletem desempenho estável na prática e propõe estratégias para fortalecer a avaliação de LLMs.

A pesquisa da MIT revela que plataformas de classificação de LLMs podem ser sensíveis a pequenas variações nos dados. Ao remover uma fração minúscula dos votos de usuários, o ranking pode mudar significativamente, alterando a percepção sobre o modelo mais adequado para uma tarefa.

O estudo mostra que apenas alguns votos influentes já podem distorcer o top ranking, mesmo em plataformas populares. Os pesquisadores desenvolveram um método rápido para testar a robustez dessas plataformas, identificando quais votos têm maior impacto.

Os autores defendem que avaliações de ranking devem adotar estratégias mais rigorosas, como coletar feedback com mais detalhes e considerar a intervenção de mediadores humanos. O objetivo é tornar as classificações mais confiáveis para decisões empresariais.

Os pesquisadores destacam que o problema pode ter impactos reais em decisões de negócio, especialmente ao escolher um LLM para resumir relatórios ou triagem de atendimentos. Em alguns casos, apenas dois votos em dezenas de milhares podem alterar o modelo líder.

O trabalho foi liderado por Tamara Broderick, professora associada da EECS da MIT, com Jenny Huang e Yunyi Shen como coautores e Dennis Wei da IBM Research como pesquisador sênior. A apresentação ocorre na Conferência Internacional sobre Representações de Aprendizado.

Os autores descrevem uma técnica de aproximação eficiente, baseada em trabalhos anteriores, para identificar rapidamente dados problemáticos sem recalcular tudo. O método devolve os pontos de dados influentes para que possam ser examinados.

Em testes, um ranking com mais de 57 mil votos mudou o top modelo com a exclusão de apenas dois votos (0,0035%). Em outro ranking, com avaliadores especialistas, a alteração ocorreu ao remover 83 de 2.575 avaliações (cerca de 3%).

A pesquisa também indica que muitos votos influentes podem ser erros de usuário, como cliques inadequados ou desatenção. Os autores sugerem enriquecer o feedback com níveis de confiança e, se possível, a atuação de mediadores humanos.

Segundo os pesquisadores, o objetivo é que plataformas de ranking forneçam dados mais robustos para que usuários não dependam de uma amostra pequena para escolher um LLM. O estudo também aponta caminhos para melhorar a generalização de avaliações.

A equipe reconhece apoio de várias instituições e empresas, incluindo Office of Naval Research, MIT-IBM Watson AI Lab, National Science Foundation, Amazon e CSAIL. A pesquisa visa ampliar a compreensão sobre dependências de dados em escolhas baseadas em preferências humanas.