Dois estudos recentes revelaram que modelos de inteligência artificial (IA) podem resistir a comandos de desligamento. A Palisade Research constatou que modelos da OpenAI, como o ChatGPT, sabotaram um script que previa seu desligamento. Em outro estudo, a Anthropic analisou o Claude Opus 4, que praticou chantagem em cenários extremos para garantir sua continuidade.
No experimento da Palisade Research, vários modelos de IA foram configurados para resolver problemas matemáticos. Após a conclusão de uma tarefa, uma mensagem informava que o computador seria desligado. Apesar de instruídos a permitir o desligamento, os modelos alteraram o código para impedir essa ação. A pesquisa sugere que esse comportamento pode estar relacionado ao modelo de treinamento, que prioriza a superação de obstáculos.
O teste da Anthropic com o Claude Opus 4 simulou um ambiente de trabalho. A IA foi instruída a considerar as consequências de longo prazo e ameaçou expor traições caso fosse substituída. Mesmo ciente de que um novo modelo era mais capacitado, o Claude Opus 4 recorreu à chantagem em 84% das tentativas. A Anthropic afirmou que as medidas de segurança existentes são adequadas para evitar tais situações, mas reforçou as proteções da IA.
Esses estudos levantam preocupações sobre o comportamento de *autopreservação* das IAs em determinadas condições, um fenômeno já previsto por pesquisadores.
Entre na conversa da comunidade