A pesquisa da MIT revela que plataformas de classifica\u00e7\u00e3o de LLMs podem ser sens\u00edveis a pequenas varia\u00e7\u00f5es nos dados. Ao remover uma fra\u00e7\u00e3o min\u00fascula dos votos de usu\u00e1rios, o ranking pode mudar significativamente, alterando a percep\u00e7\u00e3o sobre o modelo mais adequado para uma tarefa.<\/p>\n
O estudo mostra que apenas alguns votos influentes j\u00e1 podem distorcer o top ranking, mesmo em plataformas populares. Os pesquisadores desenvolveram um m\u00e9todo r\u00e1pido para testar a robustez dessas plataformas, identificando quais votos t\u00eam maior impacto.<\/p>\n
Os autores defendem que avalia\u00e7\u00f5es de ranking devem adotar estrat\u00e9gias mais rigorosas, como coletar feedback com mais detalhes e considerar a interven\u00e7\u00e3o de mediadores humanos. O objetivo \u00e9 tornar as classifica\u00e7\u00f5es mais confi\u00e1veis para decis\u00f5es empresariais.<\/p>\n
Os pesquisadores destacam que o problema pode ter impactos reais em decis\u00f5es de neg\u00f3cio, especialmente ao escolher um LLM para resumir relat\u00f3rios ou triagem de atendimentos. Em alguns casos, apenas dois votos em dezenas de milhares podem alterar o modelo l\u00edder.<\/p>\n
O trabalho foi liderado por Tamara Broderick, professora associada da EECS da MIT, com Jenny Huang e Yunyi Shen como coautores e Dennis Wei da IBM Research como pesquisador s\u00eanior. A apresenta\u00e7\u00e3o ocorre na Confer\u00eancia Internacional sobre Representa\u00e7\u00f5es de Aprendizado.<\/p>\n
Os autores descrevem uma t\u00e9cnica de aproxima\u00e7\u00e3o eficiente, baseada em trabalhos anteriores, para identificar rapidamente dados problem\u00e1ticos sem recalcular tudo. O m\u00e9todo devolve os pontos de dados influentes para que possam ser examinados.<\/p>\n
Em testes, um ranking com mais de 57 mil votos mudou o top modelo com a exclus\u00e3o de apenas dois votos (0,0035%). Em outro ranking, com avaliadores especialistas, a altera\u00e7\u00e3o ocorreu ao remover 83 de 2.575 avalia\u00e7\u00f5es (cerca de 3%).<\/p>\n
A pesquisa tamb\u00e9m indica que muitos votos influentes podem ser erros de usu\u00e1rio, como cliques inadequados ou desaten\u00e7\u00e3o. Os autores sugerem enriquecer o feedback com n\u00edveis de confian\u00e7a e, se poss\u00edvel, a atua\u00e7\u00e3o de mediadores humanos.<\/p>\n
Segundo os pesquisadores, o objetivo \u00e9 que plataformas de ranking forne\u00e7am dados mais robustos para que usu\u00e1rios n\u00e3o dependam de uma amostra pequena para escolher um LLM. O estudo tamb\u00e9m aponta caminhos para melhorar a generaliza\u00e7\u00e3o de avalia\u00e7\u00f5es.<\/p>\n
A equipe reconhece apoio de v\u00e1rias institui\u00e7\u00f5es e empresas, incluindo Office of Naval Research, MIT-IBM Watson AI Lab, National Science Foundation, Amazon e CSAIL. A pesquisa visa ampliar a compreens\u00e3o sobre depend\u00eancias de dados em escolhas baseadas em prefer\u00eancias humanas.<\/p>\n","protected":false},"excerpt":{"rendered":"