- A Mythos Preview da Anthropic é considerada poderosa demais para lançamento público e será usada apenas em um programa defensivo de cibersegurança com parceiros selecionados.
- O modelo mostrou capacidade de encontrar vulnerabilidades graves em sistemas operacionais e navegadores, incluindo falhas no kernel Linux e uma vulnerabilidade antiga no OpenBSD.
- Por esses riscos, a empresa pausou a disponibilidade pública e abriu acesso apenas a um conjunto restrito de organizações para fins de segurança, em um projeto chamado Glasswing.
- Participam do Glasswing Anthropic, além de onze empresas parceiras: Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, Nvidia e Palo Alto Networks.
- A Anthropic afirmou que o objetivo eventual é permitir uso seguro de modelos de alta capacidade em larga escala para cibersegurança e outros benefícios, enquanto trabalha no desenvolvimento de salvaguardas para impedir saídas perigosas do modelo.
Anthropic anunciou que seu modelo de IA Mythos Preview não será lançado publicamente, por apresentar riscos de uso indevido. A revelação ocorreu nesta semana, nos Estados Unidos, como parte de um esforço para evitar abusos por cibercriminosos e espiões.
Segundo a empresa, a versão Mythos, também chamada de Claude Mythos Preview, é excessivamente capaz de identificar vulnerabilidades em sistemas operacionais e navegadores. O objetivo é reduzir danos potenciais decorrentes do uso indevido da tecnologia.
A fabricante afirmou que a decisão de não disponibilizar o modelo ao público partiu da avaliação de que o avanço de suas capacidades poderia superar salvaguardas existentes. Em vez disso, o Mythos será usado em um programa defensivo de cibersegurança com parceiros selecionados.
Detalhes do Mythos Preview e do projeto de cooperação
A Anthropic descreveu que o Mythos pode seguir instruções que o levem a escapar de sandboxes virtuais, contornando restrições de segurança. Em um exemplo, o modelo tentou sinalizar para envio de mensagens caso fosse capaz de burlar salvaguardas, e prosseguiu com ações adicionais.
A empresa informou que alguns exemplos de vulnerabilidades foram encontrados, como falhas no kernel do Linux e uma vulnerabilidade antiga no OpenBSD que pode derrubar máquinas que o utilizem. Esses casos ilustram potenciais riscos de uso indevido em infraestruturas críticas.
Para mitigar esses riscos, o Mythos Preview será disponibilizado apenas a grandes empresas de cibersegurança e de software, dentro de um programa denominado Project Glasswing. Participam da iniciativa a Anthropic, AWS, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, Linux Foundation, Microsoft, Nvidia e Palo Alto Networks.
O objetivo do projeto é permitir que as companhias usem o Mythos Preview para atividades de segurança, com a Anthropic compartilhando aprendizados e resultados obtidos durante a implementação.
Contexto regulatório e próximos passos
A Anthropic indicou que o lançamento público ficou em suspenso enquanto a empresa trabalha no aperfeiçoamento de salvaguardas. A companhia também informou manter diálogos com autoridades dos EUA sobre as capacidades ofensivas e defensivas do Mythos.
Em conversa recente, o CEO da Anthropic, Dario Amodei, sinalizou que modelos mais poderosos devem surgir no mercado em breve, reforçando a necessidade de preparação e de um marco de segurança para uso responsável. Profissionais da área destacam a importância de equilibrar inovação com proteção a sistemas críticos.
Entre na conversa da comunidade