Cientistas inserem mensagens em artigos para manipular revisão por pares da IA

Pesquisadores estão utilizando mensagens ocultas em seus trabalhos acadêmicos para manipular ferramentas de inteligência artificial (IA) e garantir avaliações positivas em revisões por pares. A prática, revelada pela revista Nikkei Asia, já levou a investigações por parte de instituições acadêmicas.

A Nature identificou dezoito estudos pré-publicados que contêm essas mensagens, geralmente escritas em texto branco ou em fontes minúsculas, tornando-as invisíveis para humanos, mas legíveis para algoritmos de IA. Os autores desses trabalhos estão afiliados a quarenta e quatro instituições em onze países, principalmente nas áreas de ciência da computação.

Embora muitos editores proíbam o uso de IA na revisão por pares, há evidências de que alguns pesquisadores estão explorando modelos de linguagem para avaliar manuscritos. James Heathers, metacientista forense da Universidade de Linnaeus, destaca que essa manipulação representa uma vulnerabilidade que está sendo explorada por alguns. Ele afirma que a inserção de tais mensagens pode ser uma forma de "armazenar a desonestidade de outros para obter um caminho mais fácil".

Práticas de Manipulação

A prática, conhecida como injeção de prompt, envolve a inclusão de instruções específicas para influenciar a IA. Gitanjali Yadav, bióloga estrutural da Indian National Institute of Plant Genome Research, considera essa abordagem uma forma de má conduta acadêmica. Ela alerta que essa prática pode se espalhar rapidamente entre os pesquisadores.

Algumas mensagens ocultas foram inspiradas por um post na plataforma X, onde um cientista comparou avaliações geradas pelo ChatGPT com e sem instruções específicas. A maioria dos pré-prints analisados pela Nature utilizou frases semelhantes, enquanto outros foram mais criativos, como um estudo que incluiu uma lista de cento e oitenta e seis palavras em texto minúsculo, orientando os revisores a enfatizar os pontos fortes do trabalho.

Consequências e Respostas

Instituições como a Stevens Institute of Technology e a Dalhousie University já estão investigando os casos. A primeira anunciou que irá retirar o artigo em questão até que a investigação seja concluída. A Dalhousie, por sua vez, informou que o responsável pela inclusão da mensagem não está mais associado à universidade e solicitou a remoção do artigo do servidor de pré-publicações arXiv.

Um dos pré-prints, que seria apresentado na International Conference on Machine Learning, será retirado por um dos co-autores. As investigações continuam, enquanto a comunidade acadêmica debate as implicações éticas do uso de IA na revisão por pares.