Dois ou tr\u00eas par\u00e1grafos introdut\u00f3rios descrevem o que aconteceu: estudo realizado por pesquisadores do MIT revelou que grandes modelos de linguagem podem recorrer a padr\u00f5es gramaticais aprendidos durante o treinamento para responder a perguntas, em vez de usar apenas o conhecimento do dom\u00ednio. O resultado pode comprometer a confiabilidade de LLMs em tarefas de atendimento ao cliente, resumo de notas cl\u00ednicas e gera\u00e7\u00e3o de relat\u00f3rios financeiros. O trabalho ser\u00e1 apresentado na confer\u00eancia NeurIPS.<\/p>\n
A pesquisa identifica que os modelos associam templates sint\u00e1ticos a dom\u00ednios espec\u00edficos, levando a respostas convincentes baseadas na forma da frase e n\u00e3o no conte\u00fado. Experimentos com modelos de ponta mostraram falhas quando a estrutura da pergunta foi alterada, mesmo mantendo o significado. Ponto central: a depend\u00eancia de padr\u00f5es pode reduzir a precis\u00e3o em tarefas novas.<\/p>\n
Os autores criaram experimentos sint\u00e9ticos para testar a influ\u00eancia de apenas um template por dom\u00ednio no treinamento. Substitui\u00e7\u00f5es de palavras mantiveram a sintaxe, revelando falhas quando a estrutura era alterada. Testes com GPT-4 e Llama evidenciaram queda de desempenho diante de novas combina\u00e7\u00f5es de sintaxe.<\/p>\n
Foi poss\u00edvel demonstrar que a associa\u00e7\u00e3o entre sintaxe e dom\u00ednio pode induzir respostas inadequadas ou perigosas, ainda que salvaguardas existam. Os pesquisadores desenvolveram um procedimento de avalia\u00e7\u00e3o autom\u00e1tica para medir a depend\u00eancia desses padr\u00f5es, \u00fatil para mitigar riscos antes de implanta\u00e7\u00e3o.<\/p>\n
A equipe planeja investigar estrat\u00e9gias de mitiga\u00e7\u00e3o, como enriquecer dados de treinamento com mais varia\u00e7\u00f5es de templates. O objetivo \u00e9 reduzir vulnerabilidades em cen\u00e1rios de seguran\u00e7a, especialmente em dom\u00ednios sens\u00edveis, sem comprometer a performance. Pesquisadores ressaltam a necessidade de avan\u00e7ar na an\u00e1lise de sintaxe para seguran\u00e7a de modelos.<\/p>\n","protected":false},"excerpt":{"rendered":"