No final de 2023, surgiram preocupações sobre utensílios de cozinha plásticos pretos que apresentavam níveis alarmantes de retardantes de chama associados ao câncer. Contudo, uma análise posterior revelou que um erro matemático na pesquisa inicial superestimou a presença de uma substância química, que na verdade estava dez vezes abaixo do limite seguro. Essa falha foi […]
No final de 2023, surgiram preocupações sobre utensílios de cozinha plásticos pretos que apresentavam níveis alarmantes de retardantes de chama associados ao câncer. Contudo, uma análise posterior revelou que um erro matemático na pesquisa inicial superestimou a presença de uma substância química, que na verdade estava dez vezes abaixo do limite seguro. Essa falha foi rapidamente identificada por pesquisadores que demonstraram que um modelo de inteligência artificial (IA) poderia ter detectado o erro em segundos. Esse incidente levou ao surgimento de dois projetos que utilizam IA para identificar erros na literatura científica.
O Black Spatula Project é uma ferramenta de código aberto que já analisou cerca de quinhentos artigos em busca de erros. Coordenado por Joaquin Gulloso, um pesquisador independente de IA, o projeto ainda não divulgou os erros encontrados, preferindo contatar diretamente os autores afetados. Gulloso afirma que a ferramenta já está identificando uma quantidade significativa de falhas, descrevendo a situação como “louca”. Por outro lado, o YesNoError, fundado por Matt Schlicht, foi inspirado pelo Black Spatula e já analisou mais de trinta e sete mil artigos em apenas dois meses, utilizando uma criptomoeda para financiar suas operações.
Ambos os projetos visam que pesquisadores utilizem suas ferramentas antes de submeter trabalhos a periódicos, e que as revistas as adotem antes da publicação, com o intuito de evitar erros e fraudes na literatura científica. No entanto, especialistas como Michèle Nuijten, da Universidade de Tilburg, alertam para os riscos associados, como a possibilidade de danos à reputação se erros forem apontados sem verificação adequada. James Heathers, metacientista forense, destaca que, apesar dos riscos, o objetivo de melhorar a integridade da pesquisa é válido.
As ferramentas do Black Spatula e YesNoError utilizam modelos de linguagem para identificar erros de fato, cálculos, metodologias e referências. Elas extraem informações dos artigos e criam instruções complexas para guiar um modelo de raciocínio na busca por erros. O custo de análise varia de 15 centavos a alguns dólares, dependendo do comprimento do artigo. Contudo, a taxa de falsos positivos, onde a IA indica um erro que não existe, representa um desafio significativo. Atualmente, o sistema do Black Spatula erra cerca de 10% das vezes, e a verificação dos erros identificados é o maior gargalo do projeto.
Entre na conversa da comunidade