Anthropic desenvolve IA para monitorar conversas sobre armas nucleares com alta precisão

A Anthropic lançou um sistema para monitorar conversas sobre armas nucleares, utilizando o modelo Claude.
O classificador alcançou 96% de precisão na identificação de conteúdos perigosos, como instruções para construir armas.
A tecnologia nuclear é de “dupla utilização”, podendo ser usada para fins civis ou militares.
O sistema foi desenvolvido em parceria com a Administração Nacional de Segurança Nuclear (NNSA) e será disponibilizado a órgãos do governo federal por uma taxa de R$ 1.
O chatbot agora pode encerrar conversas prejudiciais e implementou regras contra o desenvolvimento de armas de destruição em massa e ciberataques.

A Anthropic, empresa americana de inteligência artificial, lançou um novo sistema para monitorar conversas sobre armas nucleares. O classificador, testado no modelo Claude, alcançou 96% de precisão em identificar conteúdos perigosos, como instruções para construir armas, em comparação a perguntas inofensivas.

A tecnologia nuclear é considerada de “dupla utilização”, pois pode ser aplicada tanto para fins civis quanto para a construção de armamentos. A Anthropic destaca a importância de monitorar interações de usuários para evitar que informações sensíveis comprometam a segurança nacional. O classificador foi desenvolvido em parceria com a Administração Nacional de Segurança Nuclear (NNSA).

Os testes iniciais mostraram que o sistema se saiu bem em conversas reais, permitindo distinguir entre perguntas sobre fissão para energia e solicitações perigosas. O modelo Claude será disponibilizado a órgãos do governo federal por uma taxa simbólica de um dólar, seguindo uma iniciativa semelhante da OpenAI.

Medidas de Segurança Adicionais

Além do monitoramento de conversas sobre armas nucleares, a Anthropic anunciou outras medidas de segurança para o Claude. O chatbot agora pode encerrar conversas que sejam “persistentemente prejudiciais ou abusivas”. Regras mais rígidas foram implementadas, incluindo a proibição de desenvolvimento de armas de destruição em massa e restrições contra ciberataques.

Essas iniciativas refletem um crescente foco em segurança da IA, buscando um equilíbrio entre inovação tecnológica e proteção contra riscos nucleares. A empresa visa oferecer soluções éticas e eficazes para prevenir o uso indevido de conhecimento técnico sensível.