{"id":90400,"date":"2024-11-26T07:00:00","date_gmt":"2024-11-26T10:00:00","guid":{"rendered":"https:\/\/production.portaltela.com\/noticias\/2024\/11\/26\/pesquisadores-criticam-a-eficacia-dos-benchmarks-na-avaliacao-de-modelos-de-inteligencia-artificial\/"},"modified":"2024-11-26T07:00:00","modified_gmt":"2024-11-26T10:00:00","slug":"pesquisadores-criticam-a-eficacia-dos-benchmarks-na-avaliacao-de-modelos-de-inteligencia-artificial","status":"publish","type":"post","link":"https:\/\/www.portaltela.com\/cotidiano\/tecnologia\/2024\/11\/26\/pesquisadores-criticam-a-eficacia-dos-benchmarks-na-avaliacao-de-modelos-de-inteligencia-artificial\/","title":{"rendered":"Pesquisadores criticam a efic\u00e1cia dos benchmarks na avalia\u00e7\u00e3o de modelos de intelig\u00eancia artificial"},"content":{"rendered":"

A recente pesquisa da Stanford University destaca a fragilidade dos benchmarks utilizados para avaliar modelos de intelig\u00eancia artificial (IA). Anka Reuel<\/strong>, autora do estudo, aponta que esses testes, como o MMLU, frequentemente apresentam resultados dif\u00edceis de replicar e crit\u00e9rios arbitr\u00e1rios, o que pode criar uma falsa sensa\u00e7\u00e3o de seguran\u00e7a em rela\u00e7\u00e3o \u00e0 efic\u00e1cia dos modelos. Esses benchmarks s\u00e3o essenciais, pois influenciam a regulamenta\u00e7\u00e3o e a supervis\u00e3o que os modelos de IA receber\u00e3o, especialmente com a implementa\u00e7\u00e3o do EU AI Act<\/strong> em agosto de 2025, que utilizar\u00e1 esses testes para identificar riscos sist\u00eamicos.<\/p>\n

Os pesquisadores tentaram verificar os resultados dos benchmarks, mas enfrentaram dificuldades devido \u00e0 falta de acesso ao c\u00f3digo e \u00e0s perguntas utilizadas nos testes. Anna Ivanova<\/strong>, professora da Georgia Institute of Technology, ressalta que os desenvolvedores tendem a otimizar seus modelos para esses benchmarks, o que pode distorcer a avalia\u00e7\u00e3o real de suas capacidades. Al\u00e9m disso, muitos benchmarks est\u00e3o saturados, ou seja, as quest\u00f5es j\u00e1 foram resolvidas, o que n\u00e3o reflete o verdadeiro progresso dos modelos.<\/p>\n

O estudo prop\u00f5e crit\u00e9rios para a cria\u00e7\u00e3o de benchmarks mais eficazes e lan\u00e7ou o site BetterBench<\/strong>, que classifica os benchmarks existentes com base em fatores como consulta a especialistas e defini\u00e7\u00e3o clara das capacidades testadas. Dan Hendrycks<\/strong>, diretor do CAIS, embora discorde de algumas classifica\u00e7\u00f5es, concorda que a melhoria dos benchmarks \u00e9 crucial para o avan\u00e7o da \u00e1rea. A pesquisa tamb\u00e9m destaca a import\u00e2ncia de medir corretamente as capacidades que realmente importam, como a seguran\u00e7a cibern\u00e9tica, em vez de focar em habilidades menos relevantes.<\/p>\n

Organiza\u00e7\u00f5es como a Epoch AI<\/strong> est\u00e3o desenvolvendo novos benchmarks com a participa\u00e7\u00e3o de especialistas, visando criar testes desafiadores que ainda n\u00e3o foram saturados. Tamay Besiroglu<\/strong>, da Epoch AI, afirma que o novo benchmark representa a profundidade da pesquisa matem\u00e1tica moderna. Por outro lado, o CAIS est\u00e1 colaborando com a Scale AI<\/strong> para criar o Humanity\u2019s Last Exam<\/strong>, que promete avaliar modelos de IA com quest\u00f5es que exigem compreens\u00e3o de n\u00edvel de doutorado. A necessidade de benchmarks robustos \u00e9 amplamente reconhecida, pois eles orientam tanto as empresas quanto as regulamenta\u00e7\u00f5es governamentais.<\/p>\n","protected":false},"excerpt":{"rendered":"

A recente pesquisa da Stanford University destaca a fragilidade dos benchmarks utilizados para avaliar modelos de intelig\u00eancia artificial (IA). Anka Reuel, autora do estudo, aponta que esses testes, como o MMLU, frequentemente apresentam resultados dif\u00edceis de replicar e crit\u00e9rios arbitr\u00e1rios, o que pode criar uma falsa sensa\u00e7\u00e3o de seguran\u00e7a em rela\u00e7\u00e3o \u00e0 efic\u00e1cia dos modelos. […]<\/p>\n","protected":false},"author":15,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"- A pesquisa da Stanford critica benchmarks de IA, apontando falhas de design.\n- OpenAI lan\u00e7ou o GPT-4o, mas resultados de testes s\u00e3o dif\u00edceis de replicar.\n- Iniciativas como BetterBench visam criar padr\u00f5es mais eficazes para avalia\u00e7\u00e3o.\n- O novo benchmark Humanity\u2019s Last Exam busca testar conhecimento avan\u00e7ado.\n- Regulamenta\u00e7\u00f5es futuras, como a do EU AI Act, dependem da qualidade dos benchmarks.","footnotes":""},"categories":[12,16],"tags":[100],"class_list":["post-90400","post","type-post","status-publish","format-standard","hentry","category-entretenimento","category-tecnologia","tag-noticia"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/90400","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=90400"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/90400\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=90400"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=90400"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=90400"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}