{"id":295346,"date":"2025-12-16T21:00:00","date_gmt":"2025-12-17T00:00:00","guid":{"rendered":"https:\/\/www.portaltela.com\/noticias\/2025\/12\/16\/nova-forma-de-ampliar-as-capacidades-de-grandes-modelos-de-linguagem\/"},"modified":"2025-12-16T21:00:00","modified_gmt":"2025-12-17T00:00:00","slug":"nova-forma-de-ampliar-as-capacidades-de-grandes-modelos-de-linguagem","status":"publish","type":"post","link":"https:\/\/www.portaltela.com\/noticias\/ciencia\/2025\/12\/16\/nova-forma-de-ampliar-as-capacidades-de-grandes-modelos-de-linguagem\/","title":{"rendered":"Nova forma de ampliar as capacidades de grandes modelos de linguagem"},"content":{"rendered":"<p>PATH Attention apresenta codifica\u00e7\u00e3o adaptativa de posi\u00e7\u00e3o com base em dados, utilizando transforma\u00e7\u00f5es de Householder ao longo do caminho entre tokens. O objetivo \u00e9 tornar informa\u00e7\u00f5es de posi\u00e7\u00e3o dependentes do contexto, diferentemente de RoPE, que \u00e9 est\u00e1tico.<\/p>\n<p>A pesquisa, conduzida por equipes do MIT e do MIT-IBM Watson AI Lab, combina PATH Attention com uma mem\u00f3ria posicional chamada PATH-FoX para permitir esquemas de esquecimento seletivo. O foco \u00e9 melhorar racioc\u00ednio, longo contexto e perplexidade em grandes modelos.<\/p>\n<p>Os pesquisadores tamb\u00e9m desenvolveram um algoritmo de hardware eficiente para calcular scores de aten\u00e7\u00e3o entre pares de tokens. A t\u00e9cnica de PATH Attention \u00e9 compat\u00edvel com GPUs, reduzindo a complexidade das transforma\u00e7\u00f5es ao longo da sequ\u00eancia.<\/p>\n<h3>PATH Attention<\/h3>\n<p>A implementa\u00e7\u00e3o trata a dist\u00e2ncia entre palavras como um caminho de transforma\u00e7\u00f5es dependentes do conte\u00fado. Cada etapa usa uma reflex\u00e3o de Householder para ajustar a interpreta\u00e7\u00e3o do token seguinte, permitindo mem\u00f3ria posicional ao longo do tempo.<\/p>\n<p>Resultados indicam melhoria de perplexidade e desempenho em tarefas de racioc\u00ednio n\u00e3o treinadas, al\u00e9m de maior robustez em contextos com milhares de tokens. O estudo inclui testes com LLMs de tamanho m\u00e9dio e compara\u00e7\u00e3o com m\u00e9todos existentes.<\/p>\n<h3>PATH-FoX e aplica\u00e7\u00f5es futuras<\/h3>\n<p>Ao combinar PATH Attention com FoX, o sistema permite mem\u00f3ria mais seletiva, reduzindo a relev\u00e2ncia de informa\u00e7\u00f5es antigas conforme necess\u00e1rio. Os autores destacam potencial para dom\u00ednios estruturados, como biologia, com an\u00e1lise de prote\u00ednas ou DNA.<\/p>\n<p>Os pesquisadores ressaltam que objetivo \u00e9 ampliar a expressividade dos transformadores sem comprometer a escalabilidade de hardware. O trabalho recebeu apoio do MIT-IBM Watson AI Lab e do AI2050 do Schmidt Sciences.<\/p>\n","protected":false},"excerpt":{"rendered":"<ul>\n<li>PATH Attention apresenta codifica\u00e7\u00e3o adaptativa dependente de dados, usando transforma\u00e7\u00f5es de Householder ao longo do caminho entre tokens, tornando a posi\u00e7\u00e3o contextual e n\u00e3o fixa como o RoPE.<\/li>\n<li>Combina PATH com PATH-FoX para mem\u00f3ria de posi\u00e7\u00e3o e para permitir esquecimento seletivo, fortalecendo racioc\u00ednio, contexto longo e estabilidade de modelos.<\/li>\n<li>Sistema inclui algoritmo de hardware eficiente para calcular scores de aten\u00e7\u00e3o entre pares de tokens, permitindo que as transforma\u00e7\u00f5es se tornem mais r\u00e1pidas em GPUs.<\/li>\n<li>Em testes com tarefas sint\u00e9ticas e reais, PATH Attention melhorou a perplexidade e superou outros m\u00e9todos em racioc\u00ednio e compreens\u00e3o de textos longos, mantendo desempenho com milhares de tokens.<\/li>\n<li>Pesquisa conduzida por MIT e MIT-IBM Watson AI Lab, com potencial aplica\u00e7\u00e3o em dom\u00ednios estruturados como biologia; apoio da MIT-IBM Watson AI Lab e do programa AI2050.<\/li>\n<\/ul>\n","protected":false},"author":15,"featured_media":295349,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"PATH Attention usa codifica\u00e7\u00e3o adaptativa de posi\u00e7\u00e3o com transforma\u00e7\u00f5es de Householder, elevando racioc\u00ednio e contexto longo, aliado a PATH-FoX e algoritmo hardware-eficiente","footnotes":""},"categories":[296,1],"tags":[169,85,105,98,189,99],"class_list":["post-295346","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia","category-noticias","tag-cientistas","tag-inovacao","tag-inteligencia-artificial","tag-pesquisa","tag-tecnologia","tag-universidades"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/295346","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=295346"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/295346\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media\/295349"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=295346"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=295346"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=295346"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}