Cientistas desenvolveram uma ferramenta de IA para prever a confiabilidade de estudos científicos. O projeto, apoiado pela Darpa, envolveu 865 pesquisadores ao longo de sete anos e avaliou milhares de artigos em várias áreas das ciências sociais.
A iniciativa, batizada Score (Systematic Confidence in Open Research and Evidence), buscou criar uma espécie de “pontuação de crédito” para a ciência. A ideia é indicar, de forma rápida, a robustez de uma pesquisa diante de possíveis falhas.
Contexto e objetivo
A equipe examinou 3.900 artigos publicados entre 2009 e 2018, com foco em criminologia, economia, psicologia e sociologia. Parte dos trabalhos passou por replicação para verificar a persistência dos resultados.
Como foi realizado
Foram replicados 164 estudos, com diferentes abordagens: reexecução de experimentos, recolha de novos dados por voluntários ou reanálise de dados governamentais. Em aproximadamente metade dos casos, os resultados replicados diferiram do original.
Resultados até o momento
Os especialistas envolvidos no Score acertaram about 75% das predições feitas sobre replicabilidade. Contudo, as previsões da IA não atingiram ainda o nível de confiabilidade necessário para uso isolado.
Desafios e perspectivas
Os pesquisadores destacam que problemas de dados, código-fonte e transparência dificultam a replicação. Mesmo com avanços, o Score ainda não substitui o julgamento humano nem garante previsibilidade absoluta.
Considerações finais
Especialistas externos reconheceram a profundidade do trabalho, destacando que o estudo avança o entendimento do processo científico e pode orientar melhorias na replicação. O esforço segue em publicação de artigos sobre as metodologias e resultados.
Entre na conversa da comunidade