Anthropic pede pausa temporária no desenvolvimento de IA para discutir riscos

Anthropic sugeriu uma pausa mundial temporária no desenvolvimento de IA e afirmou que vai reunir policymakers para discutir os riscos.
A empresa descreveu avanços de seu modelo Claude em direção à “autoaperfeiçoamento recursivo”, ou seja, criar versões cada vez mais poderosas de si mesmo.
O texto aponta que esse avanço pode aumentar o risco de os humanos perderem controle sobre sistemas de IA, caso seja levado ao extremo.
Uma reportagem do Financial Times informou que engenheiros da Anthropic teriam sido inseridos na Agência de Segurança Nacional (NSA) para apoiar uso do Mythos em operações cibernéticas ofensivas.
Especialistas questionaram o foco da pausa e o vínculo com a cooperação com autoridades dos EUA, destacando controvérsia sobre os objetivos de Anthropic e o estágio real de progresso da IA.

Anthropic propõe uma pausa mundial temporária no desenvolvimento de IA e afirma que vai reunir formuladores de políticas para debater riscos associados a sistemas avançados. A medida foi apresentada em um longo texto divulgado pela empresa nesta quinta-feira de forma global, sem detalhar prazos ou mecanismos de implementação.

A companhia destaca avanços do seu modelo Claude, incluindo progressos rumo à chamada melhoria recursiva. Esse conceito aponta para a possibilidade de o sistema projetar versões cada vez mais potentes de si mesmo, o que, segundo a empresa, pode elevar o risco de perda de controle humano sobre as IAs.

O comunicado também insere a discussão de riscos no centro do debate público, citando que, se far-se necessário, políticas e a atuação de pesquisadores, sociedade civil e outras empresas de IA devem promover respostas a questões levantadas pela avaliação de riscos.

Mudança de tema: relação com a segurança e parcerias

Outra linha do texto aborda medidas de segurança, incluindo a intensificação de atividades com IA usada para conduzir experimentos e acelerar trechos de código. A empresa afirma que Claude tem mostrado capacidade de propor experimentos e conduzir a pesquisa sob diretrizes controladas.

Recentemente, a Financial Times informou que engenheiros da Anthropic teriam atuado junto à National Security Agency, auxilio percebido como parte de operações de cibersegurança ofensiva. A empresa não confirmou detalhes oficiais sobre a atuação.

Especialistas ouvidos mencionam que o apelo à pausa global pode refletir esforços para atrair a atenção de formuladores de políticas, sem indicar mudanças radicais de prática. O estudo de risco apresentado pela Anthropic é visto por alguns como mais estratégico do que novo em termos de progresso técnico.

Cenário e contextos adicionais

Ainda segundo reportagens, aAnthropic chegou a mencionar Mythos, modelo anterior, cuja divulgação foi adiada por questões de segurança cibernética. Analistas destacam que a empresa tem mantido um posicionamento cuidadoso em relação a capacidades do Mythos e ao seu potencial uso público.

A companhia informou que pretende manter conversas com reguladores, pesquisadores, sociedade civil e outras empresas de IA. A agenda visa esclarecer dúvidas sobre impactos da IA avançada e orientar ações futuras, mantendo foco em responsabilidade e segurança.