Anthropic planeja evitar que IA desenvolva arma nuclear e avalia eficácia

Anthropic anunciou, em parceria com o Departamento de Energia dos EUA (DOE) e a Administração Nacional de Segurança Nuclear (NNSA), o desenvolvimento de um classificador nuclear para o chatbot Claude, criado para identificar conversas com potencial risco relacionado a armas nucleares.
O projeto envolveu meses de testes em ambientes Top Secret e um processo de red-teaming para detectar falhas e ajustar o filtro.
A parceria utilizou serviços da Amazon Web Services (AWS), que oferece soluções seguras para armazenamento de informações classificadas.
Marina Favaro, responsável pela Política de Segurança Nacional na Anthropic, afirmou que Claude foi testado em ambiente controlado para mapeamento de riscos nucleares.
O classificador identifica conversas com possível risco nuclear sem bloquear discussões legítimas sobre energia nuclear ou isótopos médicos, baseando-se em uma lista de indicadores de risco nuclear que, embora controlada, não é classificada e pode ser usada por outras empresas.

A Anthropic, em colaboração com o Departamento de Energia dos EUA (DOE) e a Administração Nacional de Segurança Nuclear (NNSA), anunciou uma iniciativa para evitar que seu chatbot Claude ajude na construção de armas nucleares. O projeto inclui o desenvolvimento de um classificador nuclear, criado após meses de testes em ambientes Top Secret.

A parceria surgiu em resposta à crescente preocupação com a segurança da inteligência artificial em aplicações sensíveis. A Anthropic utilizou os serviços de nuvem da Amazon Web Services (AWS), que oferece soluções seguras para o armazenamento de informações classificadas. Marina Favaro, responsável pela Política de Segurança Nacional na Anthropic, destacou que o modelo Claude foi testado em um ambiente controlado para identificar potenciais riscos nucleares.

O processo de red-teaming realizado pela NNSA envolveu uma série de testes para detectar falhas e desenvolver um filtro eficaz. O classificador nuclear, segundo Favaro, é uma ferramenta que identifica conversas que possam indicar riscos relacionados a armas nucleares, sem interferir em discussões legítimas sobre energia nuclear ou isótopos médicos. Este filtro foi elaborado a partir de uma lista de indicadores de risco nuclear, que, embora controlada, não é classificada, permitindo sua implementação por outras empresas.

A necessidade de tais medidas de segurança é debatida entre especialistas. Alguns consideram a proteção essencial, enquanto outros questionam a real ameaça que um chatbot representaria nesse contexto. O desenvolvimento dessa tecnologia reflete a preocupação contínua com a segurança em um mundo onde a inteligência artificial desempenha um papel cada vez mais significativo.