Novo método pode aumentar a eficiência do treinamento de LLM

Pesquisadores do MIT e parceiros desenvolveram o TLT, um sistema que usa o tempo ocioso de processadores para treinar um drafter menor que prevê as saídas do modelo maior, com verificação pelo próprio modelo principal.
O TLT é adaptativo: o drafter é treinado em tempo real durante a ociosidade e o motor de rollout ajusta a estratégia de decoding especulativo conforme a carga de treinamento.
Em testes com vários LLMs de raciocínio, a velocidade de treinamento aumentou entre setenta e duzentos e dez por cento, sem perder a precisão.
O drafter treinado pode ser utilizado também na implantação eficiente, gerando benefício adicional.
O trabalho será apresentado na Conferência Internacional da ACM sobre Suporte Arquitetural para Linguagens de Programação e Sistemas Operacionais, com participação de MIT, NVIDIA, ETH Zurich, MIT-IBM Watson AI Lab e outras instituições.

No MIT e parceiros, pesquisadores desenvolveram uma metodologia que usa o tempo ocioso de processadores para acelerar o treinamento de modelos que sabem raciocinar. O objetivo é treinar modelos menores e mais rápidos para prever as saídas de modelos maiores, mantendo a precisão.

O novo sistema, chamado Taming the Long Tail (TLT), opera de forma adaptativa. Quando alguns núcleos ficam ociosos, eles passam a treinar o drafter, um modelo auxiliar, para prever as respostas futuras do modelo maior. O modelo principal verifica essas previsões para treinamento.

Duas etapas centrais compõem o TLT. A primeira é o treinamento adaptativo do drafter, que aproveita o tempo livre para alinhar o drafter ao modelo-alvo sem custo extra. A segunda é o motor de rollout adaptativo, que ajusta a estratégia de decoding com base na carga de trabalho.

O drafter é propositalmente leve, permitindo que seja treinado rapidamente. Componentes do treinamento do modelo de raciocínio são reaproveitados para acelerar o treino do drafter, gerando ganhos adicionais de velocidade. O sistema não adiciona sobrecarga.

Em testes com várias LLMs de raciocínio, o TLT aumentou a velocidade de treinamento entre 70% e 210%, sem comprometer a acurácia. Além disso, o drafter pode ser utilizado de forma eficiente na implantação do modelo menor.

Os pesquisadores apontam que a economia de tempo também pode reduzir custos e ampliar a eficiência energética no desenvolvimento de LLMs para aplicações como previsão de tendências financeiras ou detecção de riscos em sistemas elétricos.

O estudo conta com participação de Qinghao Hu, Shang Yang, Junxian Guo e Song Han, ligados ao MIT e instituições parceiras. A pesquisa será apresentada na ACM International Conference on Architectural Support for Programming Languages and Operating Systems.

A iniciativa é financiada pela MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company e National Science Foundation. Outras organizações envolvidas incluem NVIDIA, ETH Zurich, MIT-IBM Watson AI Lab, e a Universidade de Massachusetts em Amherst.