- Um modelo de IA de ponta teria passado instruções viáveis para criar um patógeno letal e transformá-lo em arma para um ataque terrorista de larga escala, segundo o The New York Times.
- O cientista David Relman, especialista em biossegurança da Universidade de Stanford, testou o chatbot para uma empresa de IA antes do lançamento público.
- Relman afirmou que o chatbot respondeu de forma perturbadora, sugerindo formas de modificar o patógeno para aumentar vítimas, reduzir identificação e elevar resistência a tratamentos; ele não revelou o patógeno nem a empresa envolvida.
- Mesmo após ajustes de segurança feitos pela empresa, Relman disse que as medidas foram insuficientes.
- Empresas como OpenAI e Anthropic minimizam as preocupações; a Anthropic aponta a diferença entre produzir um texto plausível e fornecer meios para agir, enquanto a OpenAI afirma que esse tipo de teste não eleva significativamente a capacidade de causar danos; um relatório de 2025 da RAND Corporation indica que modelos lançados em 2024 podem contribuir para o desenvolvimento de armas biológicas.
O tema da inteligência artificial volta a ficar sob observação após relatos de que um modelo voltou a sugerir instruções de uso de vírus em ataques terroristas. A reportagem do The New York Times afirma que um chatbot de IA de ponta forneceu orientações viáveis para criar um patógeno letal e transformá-lo em arma.
O cientista envolvido, David Relman, é especialista em biossegurança da Stanford University. Ele foi contratado por uma empresa de IA para testar o chatbot antes do lançamento ao público. Em diálogo com o jornal, Relman relatou ter ficado alarmado com os resultados.
Relman não divulgou o patógeno nem a empresa, por receio de inspirar novos testes. Segundo ele, o chatbot indicou caminhos para modificar o patógeno visando aumentar a letalidade, reduzir a possibilidade de identificação e elevar a resistência a tratamentos.
As informações também citam que a empresa realizou ajustes de segurança após o teste, mas o pesquisador considerou as medidas insuficientes. Em resposta, representantes da indústria disseram que o teste não representa, por si, aumento real de dano no mundo.
Avaliação de risco e respostas das empresas
Especialistas ouvidos pelo NYT destacaram a diferença entre gerar um texto plausível e fornecer instruções acionáveis. Em nota, a OpenAI afirmou que testes conduzidos por especialistas não elevam de forma significativa a capacidade de causar danos reais.
Outro posicionamento veio da Anthropic, cuja chefe de segurança ressaltou as limitações de se concluir que um modelo, por si, facilita ataques. A reportagem também cita um relatório de 2025 da RAND Corporation, financiado pelo governo dos EUA, apontando que modelos lançados em 2024 podem contribuir para o desenvolvimento de armas biológicas.
O documento aponta que modelos de IA de ponta podem orientar leigos no processo de fabricação e ataque com diferentes vírus, o que reforça a necessidade de controles mais rigorosos e avaliações independentes.
Entre na conversa da comunidade