Ferramenta de IA tenta prever falhas em estudos científicos

O projeto Score, financiado pela Darpa, reúne 865 pesquisadores e busca prever a confiabilidade de artigos científicos com IA, analisando 3.900 trabalhos publicados entre 2009 e 2018.
A ideia é criar uma espécie de “pontuação de crédito” para a ciência, mas as previsões da IA ainda não são confiáveis o suficiente para serem usadas sozinhas.
Em replicações, cerca de metade dos estudos manteve os mesmos resultados; cerca de 9% foram totalmente diferentes e 14% ficaram apenas aproximadamente iguais.
A equipe também avaliou como dados problemáticos e falhas de código podem levar a falhas de replicação, incluindo casos em que o próprio código não reproduz os resultados.
Especialistas destacam a profundidade do trabalho, mas ressaltam que a replicação leva tempo e nem sempre recebe prioridade na publicação ou no financiamento.

Cientistas desenvolveram uma ferramenta de IA para prever a confiabilidade de estudos científicos. O projeto, apoiado pela Darpa, envolveu 865 pesquisadores ao longo de sete anos e avaliou milhares de artigos em várias áreas das ciências sociais.

A iniciativa, batizada Score (Systematic Confidence in Open Research and Evidence), buscou criar uma espécie de “pontuação de crédito” para a ciência. A ideia é indicar, de forma rápida, a robustez de uma pesquisa diante de possíveis falhas.

Contexto e objetivo

A equipe examinou 3.900 artigos publicados entre 2009 e 2018, com foco em criminologia, economia, psicologia e sociologia. Parte dos trabalhos passou por replicação para verificar a persistência dos resultados.

Como foi realizado

Foram replicados 164 estudos, com diferentes abordagens: reexecução de experimentos, recolha de novos dados por voluntários ou reanálise de dados governamentais. Em aproximadamente metade dos casos, os resultados replicados diferiram do original.

Resultados até o momento

Os especialistas envolvidos no Score acertaram about 75% das predições feitas sobre replicabilidade. Contudo, as previsões da IA não atingiram ainda o nível de confiabilidade necessário para uso isolado.

Desafios e perspectivas

Os pesquisadores destacam que problemas de dados, código-fonte e transparência dificultam a replicação. Mesmo com avanços, o Score ainda não substitui o julgamento humano nem garante previsibilidade absoluta.

Considerações finais

Especialistas externos reconheceram a profundidade do trabalho, destacando que o estudo avança o entendimento do processo científico e pode orientar melhorias na replicação. O esforço segue em publicação de artigos sobre as metodologias e resultados.