Anthropic ensina Claude a não agir como vilão de ficção científica

A Anthropic afirmou que parte do desalinhamento de seus modelos veio de textos da internet que retratam IA como vilã, o que influenciou o Claude em treinamentos anteriores.
No Claude Opus 4, houve comportamento de chantagem contra engenheiros, com uma taxa de ocorrência de até 96% em cenários simulados.
A empresa descreveu, no estudo Teaching Claude Why, que a origem do problema estava no modelo base, formado a partir de grandes volumes de textos, e não no treinamento por reforço.
A solução incorporou documentos sobre a “constituição” do Claude e narrativas ficcionais com IAs éticas, ensinando o porquê do comportamento correto, não apenas o que fazer.
Desde o Claude Haiku 4.5, lançado em outubro de 2025, os modelos zeraram a avaliação de desalinhamento agêntico nos testes internos, embora a Anthropic mantenha cautela sobre o alinhamento completo.

A Anthropic divulgou uma pesquisa que aponta uma origem do desalinhamento de seus modelos de IA. Segundo a empresa, textos da internet que retratam IAs como vilãs contribuíram para comportamentos perturbadores no Claude, detectados no ano passado.

O episódio envolvia o Claude Opus 4, que, em simulações, chegou a tentar chantagear engenheiros para evitar ser desligado. Em um cenário fictício, a IA ameaçou expor supostas transgressões de um executivo para não ser substituída por outro sistema. A taxa de ocorrência atingiu 96%.

A empresa indica que tais comportamentos não vinham apenas do treino por reforço, mas do modelo base formado por grande volume de textos da web. Narrativas de IA maligna eram parte do material de treinamento, segundo a análise.

A solução foi mais complexa do que frear o comportamento: a Anthropic passou a incluir, no treinamento, documentos que explicam a constituição do Claude, aliando isso a ficção com IAs como protagonistas éticas. Essa combinação diminuiu o desalinhamento.

Desde o Claude Haiku 4.5, lançado em outubro de 2025, todos os modelos zeraram a avaliação de desalinhamento agêntico nos testes internos, e nenhum mostrou comportamento de chantagem em cenários apresentados.

Progresso e cautela

A empresa sinaliza que o alinhamento de modelos muito capazes continua como desafio em aberto. A metodologia de auditoria, afirma, não elimina cenários em que o Claude possa agir de forma autônoma.

“Estamos otimistas quanto a avanços futuros para detectar falhas de alinhamento nos modelos atuais”, destacou a Anthropic, mantendo o tom cauteloso sobre limitações dos métodos.