Anthropic alerta: IA poderá se autoaperfeiçoar sem intervenção humana

A Anthropic alerta que IA pode evoluir para se autoaperfeiçoar sem intervenção humana em breve.
A empresa defende a criação de um “pedal de freio” para manter o controle humano sobre as criações.
Pesquisadores dizem que o autoaperfeiçoamento recursivo total pode trazer avanços para ciência e saúde, mas aumenta os riscos para a humanidade.
Recomenda-se desacelerar ou pausar o desenvolvimento de IA de fronteira e estabelecer maneiras de intervenção humana caso algo saia do controle.
A discussão ocorre no contexto de IPO da Anthropic, com a SpaceX prevista para levantar cerca de US$ 75 bilhões, e a possibilidade de cooperação entre grandes empresas para freios regulatórios.

Os modelos de IA evoluem rapidamente e, segundo a Anthropic, podem em breve se desenvolver sem intervenção humana. A empresa afirma que é necessário criar um “pedal de freio” para evitar perda de controle sobre as criações.

A alertação foi publicada por Marina Favaro, líder do The Anthropic Institute, e por Jack Clark, cofundador da Anthropic. Eles destacam riscos do autoaperfeiçoamento recursivo total para a sociedade, ciência e saúde, caso não haja salvaguardas.

Eles ressaltam que o avanço atual aproxima a IA autoaperfeiçoável mais rápido do que se esperava. A indústria é orientada a considerar desacelerar ou pausar o desenvolvimento de IA de fronteira para estudar impactos sociais potenciais.

A dupla aponta a necessidade de mecanismos de intervenção humana caso os sistemas se tornem incontroláveis. O objetivo é manter supervisão, monitoramento e capacidade de moldar o comportamento das IA.

Clark descreveu, em entrevista à CNN Internacional, a ausência de um “pedal de freio” comparável ao acelerador. Ele enfatiza a importância de instrumentos que permitam frear o desenvolvimento quando necessário.

O alerta coincide com a aproximação de uma possível IPO da Anthropic, que poderia ampliar investimentos em centros de dados e infraestrutura. A notícia sinaliza interesse público em governança de IA.

Especialistas defendem cooperação entre grandes empresa de IA para estabelecer controles compartilhados. Clark compara a atuação a acordos históricos entre rivais na Guerra Fria, para estabilizar a corrida tecnológica.