A equipe de pesquisadores do MIT apresentou um novo m\u00e9todo para medir a incerteza em modelos de linguagem grande (LLMs). A t\u00e9cnica foca em identificar respostas confiantemente incorretas, reduzindo o risco de alucina\u00e7\u00f5es em aplica\u00e7\u00f5es de alto impacto. A abordagem combina compara\u00e7\u00e3o entre modelos e avalia\u00e7\u00e3o de consist\u00eancia interna.<\/p>\n
O estudo prop\u00f5e medir a incerteza epist\u00eamica por meio da discord\u00e2ncia entre o modelo alvo e um pequeno conjunto de LLMs com arquitetura similar. Ao comparar sem\u00e2ntica das respostas, os autores defendem que \u00e9 poss\u00edvel estimar melhor o quanto o modelo pode estar divergindo do ideal para aquela tarefa.<\/p>\n
A pesquisa mistura essa estimativa com uma m\u00e9trica tradicional de incerteza aleat\u00f3ria, gerando um indicador chamado de incerteza total (TU). Em 10 tarefas realistas, o TU revelou desempenho superior de identifica\u00e7\u00e3o de previs\u00f5es pouco confi\u00e1veis em rela\u00e7\u00e3o aos m\u00e9todos usados isoladamente.<\/p>\n
Entre os participantes est\u00e3o Kimia Hamidieh, autora principal, Veronika Thost e Mikhail Yurochkin, al\u00e9m de Marzyeh Ghassemi, coordenadora do estudo. O trabalho tamb\u00e9m envolve Walter Gerych, hoje professor na Worcester Polytechnic Institute, e colaboradores da MIT-IBM Watson AI Lab.<\/p>\n
A equipe ressalta que m\u00e9tricas que consideram apenas a confian\u00e7a de um modelo podem subestimar a incerteza real. A incerteza epist\u00eamica captura o quanto o modelo pode estar longe do ideal, especialmente quando h\u00e1 respostas corretas, por\u00e9m n\u00e3o obtidas consistentemente.<\/p>\n
Segundo Hamidieh, comparar perguntas repetidas entre diferentes modelos ajuda a expor a incerteza verdadeira. O estudo observou que, para tarefas com respostas \u00fanicas, a incerteza epist\u00eamica \u00e9 mais eficaz; para tarefas abertas, pode haver limita\u00e7\u00f5es.<\/p>\n
Os pesquisadores mostraram que o TU demanda menos consultas do que somar incerteza aleat\u00f3ria e podem reduzir custos computacionais e consumo de energia. A t\u00e9cnica pode ser adaptada para melhorar perguntas abertas e explorar outras formas de incerteza.<\/p>\n
O financiamento do trabalho teve apoio parcial do MIT-IBM Watson AI Lab, conforme os autores. A proposta busca, a partir de evid\u00eancias emp\u00edricas, tornar os modelos de linguagem mais confi\u00e1veis em cen\u00e1rios cr\u00edticos.<\/p>\n","protected":false},"excerpt":{"rendered":"