DisCIPL \u00e9 um framework que reorganiza a forma como modelos de linguagem trabalham juntos. Um LM de \u201cchefia\u201d planeja a tarefa e delega fun\u00e7\u00f5es a LMs menores, que executam partes do plano. O sistema usa o LLaMPPL para guiar comportamentos.<\/p>\n
Os resultados indicam ganhos expressivos de efici\u00eancia. A abordagem produz racioc\u00ednio 40,1% mais curto e reduz custos em 80,2% em compara\u00e7\u00e3o com o o1. O sistema funciona com dezenas de LMs paralelos.<\/p>\n
No estudo, o DisCIPL comparou o modelo gestor GPT-4o com Llama-3.2-1B como seguidores, contra baselines e sistemas de ponta. As tarefas inclu\u00edram gera\u00e7\u00e3o de textos com regras, listas de compras e planejamento de viagens.<\/p>\n
O framework funciona como contrata\u00e7\u00e3o de uma equipe: o chefe elabora o plano, os seguidores executam as etapas e o chefe corrige sa\u00eddas quando necess\u00e1rio. A comunica\u00e7\u00e3o ocorre em uma linguagem compartilhada chamada LLaMPPL.<\/p>\n
Gabriel Grand, da CSAIL, destaca que a ideia \u00e9 melhorar a efici\u00eancia de infer\u00eancia de LMs usando c\u00f3digo em Python para representar as regras. Ao seguir instru\u00e7\u00f5es, os pequenos modelos contribuem com partes da resposta.<\/p>\n
Pesquisadores da Universidade da Calif\u00f3rnia em Berkeley ressaltam que a abordagem abre caminho para reduzir lat\u00eancia, exigir menos par\u00e2metros e ampliar a escalabilidade. O trabalho tamb\u00e9m aborda transpar\u00eancia e controle de sa\u00eddas.<\/p>\n
A equipe planeja ampliar o DisCIPL para tarefas de racioc\u00ednio matem\u00e1tico e adaptar o sistema a prefer\u00eancias vagas dos usu\u00e1rios. Experimentos com modelos grandes continuam, por\u00e9m com alto custo computacional.<\/p>\n
O estudo foi apresentado no Conference on Language Modeling, em outubro, e em workshop promovido pela IVADO, em novembro. Apoios vieram de institui\u00e7\u00f5es como MIT Quest, Siegel Family Foundation e a NSF, entre outros.<\/p>\n","protected":false},"excerpt":{"rendered":"