Anthropic propõe botão de pausa para evitar descontrole da IA

A Anthropic propõe um mecanismo setorial para pausar o desenvolvimento de IA, para que a sociedade possa lidar com as implicações da tecnologia.
A ideia é comparada à regulação internacional de armas nucleares e incluiria verificações por laboratórios pares para impedir que laboratórios menos escrupulosos continuem durante o intervalo.
A empresa planeja promover conversas com formuladores de políticas, pesquisadores e outras companhias de IA para discutir uma estrutura de coordenação e deliberação, com a publicação dos resultados.
O texto relembra um pedido anterior, feito em 2023 pelo Future of Life Institute, que gerou debates sobre efeitos na inovação e competitividade, especialmente em relação à China.
Mesmo propondo pausa, a Anthropic continua lançando modelos, como Claude e Mythos, e se prepara para uma oferta pública inicial de ações.

A Anthropic defendeu a criação de um mecanismo setorial para pausar o desenvolvimento de IA, permitindo que a sociedade trate de suas implicações. A ideia foi apresentada em um post publicado nesta quinta-feira por Jack Clark e Marina Favaro.

Segundo os autores, a velocidade de evolução da IA pode tornar o trabalho humano muito mais eficiente ou substituí-lo, gerando novos riscos. Eles alertam para a possibilidade de IA se autoaprimorar e criar seus próprios sucessores.

O texto compara o conceito a regras internacionais sobre armas nucleares. A pausa precisaria impedir avanços secretos, com verificações por laboratórios pares para evitar contorno do intervalo.

A Anthropic pretende promover diálogos com formuladores de políticas, pesquisadores e outras empresas de IA, visando estruturar uma “coordenação e deliberação” com divulgação dos resultados.

Historicamente, propostas de interrupção já foram discutidas, como em 2023 pelo Future of Life Institute, apoiada por Elon Musk e mil pesquisadores. Críticos apontam impactos na inovação e competitividade.

Apesar disso, a Anthropic continua lançando modelos avançados, como Claude e Mythos, e se posiciona para uma possível oferta pública de ações. A empresa reforça o interesse em entender riscos regulatórios.

Os autores reconhecem as dificuldades de controle de IA, destacando que treinamentos são mais fáceis de ocultar que silos de mísseis e que incentivos à desertação são grandes.