AI revoluciona a revisão por pares e gera preocupações entre cientistas

O ecólogo Timothée Poisot, da Universidade de Montreal, expressou preocupação ao descobrir que uma das avaliações de seu manuscrito submetido para publicação parecia ter sido gerada por inteligência artificial (IA). A frase “Aqui está uma versão revisada de sua avaliação com clareza e estrutura melhoradas” levantou suspeitas, especialmente considerando que a revista proíbe o uso de modelos de linguagem em revisões. Poisot argumentou que a essência da revisão por pares, que deve ser uma troca entre colegas, estaria comprometida se a IA fosse utilizada de forma predominante.

A utilização de IA no processo de revisão por pares já é uma realidade, com editores e pesquisadores testando ferramentas para identificar erros em textos, dados e referências. Embora algumas plataformas ofereçam revisões completas geradas por IA, muitos especialistas, como Poisot, alertam que isso pode levar a uma superficialidade nas análises. Um estudo recente indicou que entre 7% e 17% dos relatórios de conferências de IA continham modificações significativas feitas por modelos de linguagem, o que levanta questões sobre a integridade do processo.

Pesquisadores têm explorado o uso de modelos de linguagem offline para auxiliar na escrita de revisões, mas especialistas como Carl Bergstrom, da Universidade de Washington, afirmam que depender excessivamente da IA pode resultar em análises rasas. Apesar de alguns estudos mostrarem que 40% dos pesquisadores consideram as revisões geradas por IA tão úteis quanto as humanas, a preocupação com a precisão e a profundidade das análises persiste. A IA pode melhorar a clareza da escrita, mas frequentemente apresenta erros, o que pode comprometer a qualidade das revisões.

Diversas ferramentas estão sendo desenvolvidas para aprimorar o processo de revisão, como o Eliza e o Review Assistant, que ajudam a melhorar o feedback dos revisores sem substituí-los. A AIP Publishing e outras editoras estão testando softwares que prometem validar citações e resumir descobertas, mas a maioria ainda exige que os revisores utilizem essas ferramentas antes da revisão humana. Atualmente, 59% dos principais periódicos médicos proíbem o uso de IA nas revisões, enquanto outros permitem um uso limitado, refletindo a necessidade de um equilíbrio entre inovação e a manutenção da qualidade na revisão por pares.