Os pesquisadores da Microsoft avaliaram 19 IAs em tarefas de 52 profissões, desde desenvolvimento de software até biologia. O objetivo foi entender como as IAs lidam com documentos complexos no desempenho de atividades típicas. Os algoritmos testados incluem Gemini 3.1 Pro, Claude 4.6 Opus e GPT 5.4, entre outros.
Os resultados indicam corrupção de conteúdo em parte relevante dos documentos. Em pelo menos 25% do material, textos e imagens foram modificados ou removidos sem aviso durante a execução das tarefas. Esse índice atingiu o nível mais alto nos modelos mais modernos.
Ao considerar todas as IAs avaliadas, a média de corrupção chegou a 50% do conteúdo dos arquivos. Em um segundo teste, em que as bots atuaram no modo “agente” e tiveram acesso a outros softwares, a situação piorou, com maior volume de dados comprometidos.
Sobre a configuração do experimento
Quando as equipes eliminaram a necessidade de arquivos correlatos, fornecendo apenas o documento principal, houve melhoria: a corrupção caiu entre 2% e 8%, dependendo do modelo. Mesmo assim, o resultado ainda foi abaixo do ideal para usos críticos.
Desempenho por tarefa
A única atividade em que quase todas as IAs apresentaram bom desempenho foi a geração de código de software. Os pesquisadores relatam que, embora LLMs demonstrem aptidão para algumas rotinas, como programação em Python, a maioria das áreas exige monitoramento humano contínuo durante o uso.
Conclusões do estudo
Os autores concluem que modelos de linguagem atuais podem sustentar fluxos de trabalho em áreas específicas, mas não substituem o trabalho humano de forma generalizada. O monitoramento ativo continua sendo necessário para evitar corrupção de conteúdo em documentos.
Entre na conversa da comunidade