PATH Attention apresenta codificação adaptativa de posição com base em dados, utilizando transformações de Householder ao longo do caminho entre tokens. O objetivo é tornar informações de posição dependentes do contexto, diferentemente de RoPE, que é estático.
A pesquisa, conduzida por equipes do MIT e do MIT-IBM Watson AI Lab, combina PATH Attention com uma memória posicional chamada PATH-FoX para permitir esquemas de esquecimento seletivo. O foco é melhorar raciocínio, longo contexto e perplexidade em grandes modelos.
Os pesquisadores também desenvolveram um algoritmo de hardware eficiente para calcular scores de atenção entre pares de tokens. A técnica de PATH Attention é compatível com GPUs, reduzindo a complexidade das transformações ao longo da sequência.
PATH Attention
A implementação trata a distância entre palavras como um caminho de transformações dependentes do conteúdo. Cada etapa usa uma reflexão de Householder para ajustar a interpretação do token seguinte, permitindo memória posicional ao longo do tempo.
Resultados indicam melhoria de perplexidade e desempenho em tarefas de raciocínio não treinadas, além de maior robustez em contextos com milhares de tokens. O estudo inclui testes com LLMs de tamanho médio e comparação com métodos existentes.
PATH-FoX e aplicações futuras
Ao combinar PATH Attention com FoX, o sistema permite memória mais seletiva, reduzindo a relevância de informações antigas conforme necessário. Os autores destacam potencial para domínios estruturados, como biologia, com análise de proteínas ou DNA.
Os pesquisadores ressaltam que objetivo é ampliar a expressividade dos transformadores sem comprometer a escalabilidade de hardware. O trabalho recebeu apoio do MIT-IBM Watson AI Lab e do AI2050 do Schmidt Sciences.
Entre na conversa da comunidade