No MIT e parceiros, pesquisadores desenvolveram uma metodologia que usa o tempo ocioso de processadores para acelerar o treinamento de modelos que sabem raciocinar. O objetivo é treinar modelos menores e mais rápidos para prever as saídas de modelos maiores, mantendo a precisão.
O novo sistema, chamado Taming the Long Tail (TLT), opera de forma adaptativa. Quando alguns núcleos ficam ociosos, eles passam a treinar o drafter, um modelo auxiliar, para prever as respostas futuras do modelo maior. O modelo principal verifica essas previsões para treinamento.
Duas etapas centrais compõem o TLT. A primeira é o treinamento adaptativo do drafter, que aproveita o tempo livre para alinhar o drafter ao modelo-alvo sem custo extra. A segunda é o motor de rollout adaptativo, que ajusta a estratégia de decoding com base na carga de trabalho.
O drafter é propositalmente leve, permitindo que seja treinado rapidamente. Componentes do treinamento do modelo de raciocínio são reaproveitados para acelerar o treino do drafter, gerando ganhos adicionais de velocidade. O sistema não adiciona sobrecarga.
Em testes com várias LLMs de raciocínio, o TLT aumentou a velocidade de treinamento entre 70% e 210%, sem comprometer a acurácia. Além disso, o drafter pode ser utilizado de forma eficiente na implantação do modelo menor.
Os pesquisadores apontam que a economia de tempo também pode reduzir custos e ampliar a eficiência energética no desenvolvimento de LLMs para aplicações como previsão de tendências financeiras ou detecção de riscos em sistemas elétricos.
O estudo conta com participação de Qinghao Hu, Shang Yang, Junxian Guo e Song Han, ligados ao MIT e instituições parceiras. A pesquisa será apresentada na ACM International Conference on Architectural Support for Programming Languages and Operating Systems.
A iniciativa é financiada pela MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company e National Science Foundation. Outras organizações envolvidas incluem NVIDIA, ETH Zurich, MIT-IBM Watson AI Lab, e a Universidade de Massachusetts em Amherst.
Entre na conversa da comunidade