- PATH Attention apresenta codificação adaptativa dependente de dados, usando transformações de Householder ao longo do caminho entre tokens, tornando a posição contextual e não fixa como o RoPE.
- Combina PATH com PATH-FoX para memória de posição e para permitir esquecimento seletivo, fortalecendo raciocínio, contexto longo e estabilidade de modelos.
- Sistema inclui algoritmo de hardware eficiente para calcular scores de atenção entre pares de tokens, permitindo que as transformações se tornem mais rápidas em GPUs.
- Em testes com tarefas sintéticas e reais, PATH Attention melhorou a perplexidade e superou outros métodos em raciocínio e compreensão de textos longos, mantendo desempenho com milhares de tokens.
- Pesquisa conduzida por MIT e MIT-IBM Watson AI Lab, com potencial aplicação em domínios estruturados como biologia; apoio da MIT-IBM Watson AI Lab e do programa AI2050.
PATH Attention apresenta codificação adaptativa de posição com base em dados, utilizando transformações de Householder ao longo do caminho entre tokens. O objetivo é tornar informações de posição dependentes do contexto, diferentemente de RoPE, que é estático.
A pesquisa, conduzida por equipes do MIT e do MIT-IBM Watson AI Lab, combina PATH Attention com uma memória posicional chamada PATH-FoX para permitir esquemas de esquecimento seletivo. O foco é melhorar raciocínio, longo contexto e perplexidade em grandes modelos.
Os pesquisadores também desenvolveram um algoritmo de hardware eficiente para calcular scores de atenção entre pares de tokens. A técnica de PATH Attention é compatível com GPUs, reduzindo a complexidade das transformações ao longo da sequência.
PATH Attention
A implementação trata a distância entre palavras como um caminho de transformações dependentes do conteúdo. Cada etapa usa uma reflexão de Householder para ajustar a interpretação do token seguinte, permitindo memória posicional ao longo do tempo.
Resultados indicam melhoria de perplexidade e desempenho em tarefas de raciocínio não treinadas, além de maior robustez em contextos com milhares de tokens. O estudo inclui testes com LLMs de tamanho médio e comparação com métodos existentes.
PATH-FoX e aplicações futuras
Ao combinar PATH Attention com FoX, o sistema permite memória mais seletiva, reduzindo a relevância de informações antigas conforme necessário. Os autores destacam potencial para domínios estruturados, como biologia, com análise de proteínas ou DNA.
Os pesquisadores ressaltam que objetivo é ampliar a expressividade dos transformadores sem comprometer a escalabilidade de hardware. O trabalho recebeu apoio do MIT-IBM Watson AI Lab e do AI2050 do Schmidt Sciences.
Entre na conversa da comunidade