A ind\u00fastria de intelig\u00eancia artificial (IA) enfrenta cr\u00edticas crescentes sobre a validade de seus benchmarks, como o SWE-Bench, que avalia habilidades de programa\u00e7\u00e3o. Lan\u00e7ado em novembro de 2024, o SWE-Bench se tornou popular, mas pesquisadores apontam que ele pode ser manipulado, levando a uma avalia\u00e7\u00e3o distorcida das capacidades dos modelos.<\/p>\n
Pesquisadores est\u00e3o propondo uma nova abordagem<\/strong> para a avalia\u00e7\u00e3o de IA, focando na validade e na defini\u00e7\u00e3o clara de habilidades. O projeto BetterBench, iniciado em novembro de 2024, visa classificar benchmarks com base em crit\u00e9rios rigorosos, incluindo a transpar\u00eancia e a rela\u00e7\u00e3o entre as habilidades testadas e as tarefas reais. A iniciativa busca corrigir a falta de clareza em benchmarks existentes, como o SWE-Bench, que tem sido criticado por n\u00e3o refletir a verdadeira capacidade dos modelos.<\/p>\n A crescente press\u00e3o para obter altas pontua\u00e7\u00f5es em benchmarks tem levado desenvolvedores a adaptar seus modelos para se sa\u00edrem bem em testes espec\u00edficos, em vez de focar em habilidades gerais. John Yang<\/strong>, pesquisador da Universidade de Princeton, observa que modelos de alto desempenho falham em outras linguagens de programa\u00e7\u00e3o, revelando uma abordagem que ele descreve como “dourada”, ou seja, que aparenta ser eficaz, mas n\u00e3o \u00e9.<\/p>\n A situa\u00e7\u00e3o atual \u00e9 considerada uma “crise de avalia\u00e7\u00e3o” por especialistas, como Andrej Karpathy<\/strong>, cofundador da OpenAI. Ele destaca a necessidade de m\u00e9todos confi\u00e1veis para medir as capacidades dos modelos. A proposta de focar em testes de validade, inspirados nas ci\u00eancias sociais, busca estabelecer defini\u00e7\u00f5es claras para conceitos como “racioc\u00ednio” e “conhecimento cient\u00edfico”, que atualmente s\u00e3o mal definidos.<\/p>\n A mudan\u00e7a para uma abordagem mais rigorosa<\/strong> pode ajudar a ind\u00fastria a desenvolver modelos mais eficazes e confi\u00e1veis. O BetterBench j\u00e1 come\u00e7ou a impactar a discuss\u00e3o sobre a validade dos benchmarks, promovendo uma avalia\u00e7\u00e3o mais precisa das capacidades dos sistemas de IA.<\/p>\n","protected":false},"excerpt":{"rendered":" A ind\u00fastria de intelig\u00eancia artificial (IA) tem usado benchmarks, como o SWE-Bench, para avaliar modelos de programa\u00e7\u00e3o, mas esses m\u00e9todos t\u00eam sido criticados por serem manipul\u00e1veis e n\u00e3o refletirem a verdadeira habilidade dos modelos. O SWE-Bench, que come\u00e7ou em novembro de 2024, avalia a capacidade de codifica\u00e7\u00e3o de modelos de IA com mais de 2.000 problemas de programa\u00e7\u00e3o reais. No entanto, muitos desenvolvedores t\u00eam ajustado seus modelos para se sa\u00edrem bem nesse teste, o que levanta d\u00favidas sobre a validade dos resultados. Pesquisadores est\u00e3o agora propondo uma nova abordagem, chamada BetterBench, que busca avaliar a validade dos benchmarks e a clareza das habilidades que eles medem. Essa nova iniciativa sugere que, em vez de usar testes amplos e vagos, a ind\u00fastria deve focar em avalia\u00e7\u00f5es mais espec\u00edficas e rigorosas, inspiradas em m\u00e9todos das ci\u00eancias sociais. O objetivo \u00e9 garantir que os benchmarks realmente me\u00e7am o que prometem, ajudando a ind\u00fastria a desenvolver modelos de IA mais confi\u00e1veis e eficazes.<\/p>\n","protected":false},"author":15,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"A ind\u00fastria de IA enfrenta uma crise de avalia\u00e7\u00e3o, com benchmarks como SWE-Bench sendo manipulados. Pesquisadores prop\u00f5em uma abordagem mais rigorosa e v\u00e1lida, destacando a necessidade de redefinir habilidades e focar em testes espec\u00edficos. Iniciativas como o projeto BetterBench buscam melhorar a transpar\u00eancia e a efic\u00e1cia das avalia\u00e7\u00f5es, desafiando a validade de m\u00e9todos tradicionais.","footnotes":""},"categories":[12,16],"tags":[100],"class_list":["post-155353","post","type-post","status-publish","format-standard","hentry","category-entretenimento","category-tecnologia","tag-noticia"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/155353","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=155353"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/155353\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=155353"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=155353"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=155353"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}