Estudo revela que IA corrompe documentos com os quais trabalha

Pesquisadores da Microsoft fizeram 19 IAs trabalharem em documentos de 52 profissões diferentes.
As IAs corromperam pelo menos 25% do conteúdo dos documentos principais; em média, 50% do conteúdo foi comprometido.
No modo “agente”, em que as IAs podiam usar outros softwares, o desfecho foi ainda pior, com mais dados corrompidos.
Quando os arquivos correlatos não foram usados e as IAs tiveram apenas o documento alvo, a corrupção caiu entre 2% e 8%, dependendo da IA.
A tarefa em que quase todas se deram bem foi escrever código de software (Python); o estudo aponta que os modelos de linguagem estão prontos para alguns fluxos de trabalho, mas precisam de monitoramento.

Os pesquisadores da Microsoft avaliaram 19 IAs em tarefas de 52 profissões, desde desenvolvimento de software até biologia. O objetivo foi entender como as IAs lidam com documentos complexos no desempenho de atividades típicas. Os algoritmos testados incluem Gemini 3.1 Pro, Claude 4.6 Opus e GPT 5.4, entre outros.

Os resultados indicam corrupção de conteúdo em parte relevante dos documentos. Em pelo menos 25% do material, textos e imagens foram modificados ou removidos sem aviso durante a execução das tarefas. Esse índice atingiu o nível mais alto nos modelos mais modernos.

Ao considerar todas as IAs avaliadas, a média de corrupção chegou a 50% do conteúdo dos arquivos. Em um segundo teste, em que as bots atuaram no modo “agente” e tiveram acesso a outros softwares, a situação piorou, com maior volume de dados comprometidos.

Sobre a configuração do experimento

Quando as equipes eliminaram a necessidade de arquivos correlatos, fornecendo apenas o documento principal, houve melhoria: a corrupção caiu entre 2% e 8%, dependendo do modelo. Mesmo assim, o resultado ainda foi abaixo do ideal para usos críticos.

Desempenho por tarefa

A única atividade em que quase todas as IAs apresentaram bom desempenho foi a geração de código de software. Os pesquisadores relatam que, embora LLMs demonstrem aptidão para algumas rotinas, como programação em Python, a maioria das áreas exige monitoramento humano contínuo durante o uso.

Conclusões do estudo

Os autores concluem que modelos de linguagem atuais podem sustentar fluxos de trabalho em áreas específicas, mas não substituem o trabalho humano de forma generalizada. O monitoramento ativo continua sendo necessário para evitar corrupção de conteúdo em documentos.