- MIT apresenta instance-adaptive scaling com calibração de process reward model (PRM), ajustando o orçamento computacional conforme a dificuldade da questão.
- A calibração permite que o PRM gere uma faixa de probabilidades, produzindo estimativas de incerteza mais confiáveis durante a solução.
- Em comparações, a abordagem utilizou menos computação que métodos tradicionais, mantendo a precisão em tarefas de raciocínio matemático.
- A técnica pode fazer modelos menores competirem com modelos maiores em problemas complexos e reduzir o consumo de energia de IA generativa.
- O estudo será apresentado na Conferência sobre Sistemas de Processamento Neural de Informação (NeurIPS) e teve financiamento de laboratórios e parcerias como MIT-IBM Watson AI Lab e MIT-Amazon Science Hub.
O MIT apresentou uma abordagem de escalonamento instance-adaptive, calibrando o processo de avaliação de soluções por meio de um PRM (process reward model). A técnica ajusta dinamicamente o esforço computacional conforme a dificuldade da pergunta, reduzindo o consumo de recursos sem comprometer a precisão. O método pode ampliar o desempenho de modelos menores em tarefas complexas.
Os pesquisador(es) envolvidos incluem Navid Azizan, Young-Jin Park, Kristjan Greenewald, Kaveh Alim e Hao Wang, com atuação no MIT e no MIT-IBM Watson AI Lab. O trabalho foi apresentado nesta semana na Conference on Neural Information Processing Systems (NeurIPS). A pesquisa sustenta que a calibração do PRM cria estimativas de incerteza mais confiáveis, evitando superestimativas de probabilidade de sucesso que levavam a cortes de cálculo excessivos.
O que muda no funcionamento dos LLMs
O estudo parte de técnicas de inference-time scaling, que permitem ao modelo explorar várias soluções antes de consolidar a resposta. A novidade é ajustar o número de caminhos de raciocínio conforme a probabilidade de sucesso de cada um, medindo o nível de dificuldade com o PRM. Assim, o modelo pode dedicar mais ou menos recursos em tempo real, dependendo do problema.
Impactos e próximos passos
Resultados indicam que a abordagem consome menos computação por problema, mantendo a acurácia em tarefas de raciocínio matemático e similares. A expectativa é aplicar a técnica a geração de código e a agentes de IA, além de explorar usos do PRM calibrado em aprendizado reforçado e ajuste fino. A iniciativa busca ampliar a viabilidade de IA confiável em aplicações de alto custo computacional.
Entre na conversa da comunidade