A indústria de inteligência artificial (IA) tem usado benchmarks, como o SWE-Bench, para avaliar modelos de programação, mas esses métodos têm sido criticados por serem manipuláveis e não refletirem a verdadeira habilidade dos modelos. O SWE-Bench, que começou em novembro de 2024, avalia a capacidade de codificação de modelos de IA com mais de 2.000 problemas de programação reais. No entanto, muitos desenvolvedores têm ajustado seus modelos para se saírem bem nesse teste, o que levanta dúvidas sobre a validade dos resultados. Pesquisadores estão agora propondo uma nova abordagem, chamada BetterBench, que busca avaliar a validade dos benchmarks e a clareza das habilidades que eles medem. Essa nova iniciativa sugere que, em vez de usar testes amplos e vagos, a indústria deve focar em avaliações mais específicas e rigorosas, inspiradas em métodos das ciências sociais. O objetivo é garantir que os benchmarks realmente meçam o que prometem, ajudando a indústria a desenvolver modelos de IA mais confiáveis e eficazes.
A indústria de inteligência artificial (IA) enfrenta críticas crescentes sobre a validade de seus benchmarks, como o SWE-Bench, que avalia habilidades de programação. Lançado em novembro de 2024, o SWE-Bench se tornou popular, mas pesquisadores apontam que ele pode ser manipulado, levando a uma avaliação distorcida das capacidades dos modelos.
Pesquisadores estão propondo uma nova abordagem para a avaliação de IA, focando na validade e na definição clara de habilidades. O projeto BetterBench, iniciado em novembro de 2024, visa classificar benchmarks com base em critérios rigorosos, incluindo a transparência e a relação entre as habilidades testadas e as tarefas reais. A iniciativa busca corrigir a falta de clareza em benchmarks existentes, como o SWE-Bench, que tem sido criticado por não refletir a verdadeira capacidade dos modelos.
A crescente pressão para obter altas pontuações em benchmarks tem levado desenvolvedores a adaptar seus modelos para se saírem bem em testes específicos, em vez de focar em habilidades gerais. John Yang, pesquisador da Universidade de Princeton, observa que modelos de alto desempenho falham em outras linguagens de programação, revelando uma abordagem que ele descreve como “dourada”, ou seja, que aparenta ser eficaz, mas não é.
A situação atual é considerada uma “crise de avaliação” por especialistas, como Andrej Karpathy, cofundador da OpenAI. Ele destaca a necessidade de métodos confiáveis para medir as capacidades dos modelos. A proposta de focar em testes de validade, inspirados nas ciências sociais, busca estabelecer definições claras para conceitos como “raciocínio” e “conhecimento científico”, que atualmente são mal definidos.
A mudança para uma abordagem mais rigorosa pode ajudar a indústria a desenvolver modelos mais eficazes e confiáveis. O BetterBench já começou a impactar a discussão sobre a validade dos benchmarks, promovendo uma avaliação mais precisa das capacidades dos sistemas de IA.
Entre na conversa da comunidade