Inteligências artificiais são testadas em resumo de documentos e resultados surpreendem

Modelos de inteligência artificial, como ChatGPT e Claude, têm sido amplamente utilizados para resumir documentos variados. Recentemente, o Washington Post promoveu uma competição entre cinco IAs para avaliar suas habilidades em resumir diferentes tipos de textos. Os modelos testados foram ChatGPT, Claude, Copilot, Meta AI e Gemini.

A competição utilizou quatro categorias de documentos: um romance, uma pesquisa médica, contratos jurídicos e discursos do ex-presidente Donald Trump. O jornalista Geoffrey Fowler fez 115 perguntas aos modelos, cujas respostas foram analisadas por especialistas. Os resultados mostraram que Claude e ChatGPT se destacaram, enquanto a IA da Meta teve um desempenho insatisfatório.

Claude, da Anthropic, e ChatGPT, da OpenAI, dividiram as primeiras posições em quase todos os critérios. A única exceção foi na análise de contratos jurídicos, onde ChatGPT ficou em penúltimo lugar. Em literatura e política, ChatGPT foi o melhor, enquanto Claude se destacou em direito e pesquisa científica. Três dos cinco modelos não alcançaram uma pontuação satisfatória, com as IAs vencedoras superando ou chegando perto da média acadêmica exigida.

A IA da Meta apresentou dificuldades generalizadas em todas as áreas analisadas. Por outro lado, Claude se destacou por não ter "alucinado" em nenhum momento, ou seja, não inventou informações durante os testes.