{"id":101148,"date":"2025-09-16T13:16:35","date_gmt":"2025-09-16T16:16:35","guid":{"rendered":"https:\/\/production.portaltela.com\/noticias\/2025\/09\/16\/desenvolvedores-criam-leis-de-escalabilidade-de-ia-para-otimizar-treinamento-de-llms\/"},"modified":"2025-09-16T13:16:35","modified_gmt":"2025-09-16T16:16:35","slug":"desenvolvedores-criam-leis-de-escalabilidade-de-ia-para-otimizar-treinamento-de-llms","status":"publish","type":"post","link":"https:\/\/www.portaltela.com\/noticias\/educacao\/2025\/09\/16\/desenvolvedores-criam-leis-de-escalabilidade-de-ia-para-otimizar-treinamento-de-llms\/","title":{"rendered":"Desenvolvedores criam leis de escalabilidade de IA para otimizar treinamento de LLMs"},"content":{"rendered":"

Pesquisadores do MIT e do MIT-IBM Watson AI Lab publicaram um novo estudo que re\u00fane dados de centenas de modelos de linguagem<\/strong> e m\u00e9tricas de desempenho, visando otimizar a previs\u00e3o de resultados em modelos de linguagem de grande escala (LLMs)<\/strong>. O trabalho foi apresentado na International Conference on Machine Learning<\/strong> e prop\u00f5e diretrizes para ajudar desenvolvedores a maximizar o desempenho dentro de or\u00e7amentos computacionais e financeiros limitados.<\/p>\n

O treinamento de LLMs pode custar milh\u00f5es de d\u00f3lares, o que torna essencial que os desenvolvedores fa\u00e7am escolhas informadas sobre arquitetura, otimizadores e conjuntos de dados. Para prever a qualidade das previs\u00f5es de um modelo grande, muitos recorrem a leis de escalonamento<\/strong>, que utilizam modelos menores para estimar o desempenho de modelos maiores. No entanto, a cria\u00e7\u00e3o de leis de escalonamento \u00e9 complexa, com milhares de abordagens poss\u00edveis.<\/p>\n

Os pesquisadores coletaram dados de 485 modelos pr\u00e9-treinados<\/strong> de 40 fam\u00edlias diferentes, como Pythia, OPT e GPT, e analisaram mais de 1,9 milh\u00e3o de m\u00e9tricas de desempenho<\/strong>. A equipe desenvolveu uma meta-an\u00e1lise que permite a compara\u00e7\u00e3o de mais de mil leis de escalonamento<\/strong>, oferecendo recomenda\u00e7\u00f5es pr\u00e1ticas para a sele\u00e7\u00e3o de modelos menores e a estimativa de desempenho.<\/p>\n

Diretrizes para Previs\u00e3o de Desempenho<\/h3>\n

Entre as descobertas, os pesquisadores identificaram que incluir checkpoints de treinamento intermedi\u00e1rios<\/strong> melhora a precis\u00e3o das previs\u00f5es. Al\u00e9m disso, modelos menores, mesmo que parcialmente treinados, podem ser preditivos. A pesquisa sugere que, ao priorizar a forma\u00e7\u00e3o de modelos de diferentes tamanhos, os desenvolvedores podem aumentar a robustez das estimativas de desempenho.<\/p>\n

Os pesquisadores tamb\u00e9m notaram que as leis de escalonamento podem ser aplicadas de forma eficaz para prever o desempenho de modelos menores a partir de modelos maiores. Essa abordagem pode democratizar o acesso a t\u00e9cnicas avan\u00e7adas de modelagem, permitindo que pesquisadores com menos recursos compreendam e construam leis de escalonamento eficazes.<\/p>\n

O estudo destaca a import\u00e2ncia de desenvolver modelos preditivos n\u00e3o apenas para o treinamento, mas tamb\u00e9m para a infer\u00eancia, sugerindo que a an\u00e1lise de como os modelos se comportam durante o tempo de execu\u00e7\u00e3o pode se tornar cada vez mais relevante.<\/p>\n","protected":false},"excerpt":{"rendered":"

    \n
  • Pesquisadores do MIT e do MIT-IBM Watson AI Lab publicaram um estudo sobre modelos de linguagem de grande escala (LLMs).<\/li>\n
  • O estudo re\u00fane dados de 485 modelos pr\u00e9-treinados de 40 fam\u00edlias diferentes e analisa mais de 1,9 milh\u00e3o de m\u00e9tricas de desempenho.<\/li>\n
  • Os pesquisadores desenvolveram diretrizes para otimizar a previs\u00e3o de desempenho, ajudando desenvolvedores a maximizar resultados dentro de or\u00e7amentos limitados.<\/li>\n
  • A pesquisa destaca a import\u00e2ncia de incluir checkpoints de treinamento intermedi\u00e1rios e sugere que modelos menores podem ser preditivos.<\/li>\n
  • As leis de escalonamento podem ser usadas para prever o desempenho de modelos menores a partir de modelos maiores, facilitando o acesso a t\u00e9cnicas avan\u00e7adas de modelagem.<\/li>\n<\/ul>\n","protected":false},"author":15,"featured_media":101209,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"Estudo do MIT e do MIT-IBM Watson AI Lab oferece diretrizes para otimizar desempenho de modelos de linguagem de grande escala.","footnotes":""},"categories":[40,1],"tags":[94,185,105,100,98,174],"class_list":["post-101148","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-educacao","category-noticias","tag-economia","tag-estudos","tag-inteligencia-artificial","tag-noticia","tag-pesquisa","tag-reforma"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/101148","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=101148"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/101148\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media\/101209"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=101148"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=101148"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=101148"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}