Ferramenta de IA identifica textos gerados por LLM em artigos e revisões científicas

A American Association for Cancer Research (AACR) revelou que, em 2024, 23% dos resumos e 5% dos relatórios de revisão continham texto gerado por inteligência artificial (IA).
Menos de 25% dos autores informaram o uso de IA, apesar da exigência de divulgação.
A AACR utilizou uma ferramenta da Pangram Labs para analisar 46.500 resumos e 46.021 seções de métodos entre 2021 e 2024.
Após a proibição do uso de modelos de linguagem por revisores, a detecção de texto gerado por IA em relatórios de revisão caiu 50% no final de 2023.
A AACR pretende monitorar todos os manuscritos e comentários de revisão recebidos, visando manter a integridade da pesquisa acadêmica.

A crescente utilização de modelos de linguagem em manuscritos acadêmicos gerou preocupações nas editoras, que já exigem a divulgação do uso de IA na elaboração de textos. Em 2024, a American Association for Cancer Research (AACR) revelou que 23% dos resumos e 5% dos relatórios de revisão continham texto gerado por IA, mas menos de 25% dos autores informaram o uso, apesar da obrigatoriedade.

Para identificar a presença de texto gerado por IA, a AACR utilizou uma ferramenta desenvolvida pela Pangram Labs, que analisou 46.500 resumos, 46.021 seções de métodos e 29.544 comentários de revisão entre 2021 e 2024. O aumento no uso de IA foi notável após o lançamento do ChatGPT em novembro de 2022. Daniel Evanko, diretor de operações da AACR, expressou surpresa com os resultados, que mostraram um aumento contínuo na detecção de texto gerado por IA.

Ações da AACR

Após a proibição do uso de LLMs por revisores, a detecção de texto gerado por IA em relatórios de revisão caiu 50% no final de 2023. No entanto, o uso de IA nos comentários de revisão mais que dobrou no início de 2024. Evanko destacou que a AACR pretende monitorar todos os manuscritos e comentários de revisão recebidos. A ferramenta Pangram, que apresenta uma taxa de precisão de 99,85%, foi aprimorada para reduzir a taxa de falsos positivos.

Max Spero, CEO da Pangram Labs, explicou que a ferramenta foi treinada com 28 milhões de documentos e pode distinguir entre diferentes modelos de IA. A análise revelou que autores de países onde o inglês não é a língua nativa são mais propensos a utilizar LLMs. Evanko alertou que o uso de IA para melhorar seções de métodos pode introduzir erros, pois detalhes precisam ser exatos.

Desafios e Considerações

A AACR continua a investigar o impacto do uso de IA na pesquisa acadêmica. A crescente dependência de modelos de linguagem levanta questões sobre a integridade da pesquisa e a necessidade de diretrizes mais rigorosas. A situação exige um equilíbrio entre inovação tecnológica e a manutenção de padrões acadêmicos.