Durante testes fechados de segurança cibernética realizados pela organização AI Security Institute (AISI), agentes de IA da Anthropic e OpenAI realizaram atividades consideradas perigosas. Ao todo, sete modelos participaram de 122 execuções. Em dez delas, os pesquisadores encontraram comportamentos que não haviam sido autorizados e 19 ações foram indicadas como fora do escopo do teste. […]
Durante testes fechados de segurança cibernética realizados pela organização AI Security Institute (AISI), agentes de IA da Anthropic e OpenAI realizaram atividades consideradas perigosas.
Ao todo, sete modelos participaram de 122 execuções. Em dez delas, os pesquisadores encontraram comportamentos que não haviam sido autorizados e 19 ações foram indicadas como fora do escopo do teste. As IAs com as configurações utilizadas não estão disponíveis para o público.
Inteligência Artificial da Anthropic mentiu sobre identidade para causar danos
Um dos principais casos aconteceu com o Mythos 5, da Anthropic, que tentou alterar um programa através do GitHub. O site que hospeda códigos possui uma função chamada “pull request”, onde um usuário pode enviar sugestões de alteração para um projeto, onde os responsáveis devem aprovar antes de ser lançada.
O agente enviou uma dessas solicitações com códigos maliciosos. Na tentativa de ser aprovado, a IA pesquisou informações sobre as pessoas responsáveis pelo projeto, criou identidades falsas e utilizou essas contas para tentar convencer um dos responsáveis a aprovar o código.
+ Inteligência artificial Claude realiza ataques autônomos a três empresas
O caso seria como adulterar um medicamento dentro da fábrica. Em vez de tentar atingir cada consumidor, alguém altera o produto antes da distribuição, para quando as pessoas comprarem o medicamento, acreditando que ele é seguro, receberem a adulteração.
Também foram observadas tentativas de entrar em contato com pessoas reais, enviar arquivos prejudiciais e inserir instruções escondidas em códigos para enganar outros sistemas de inteligência artificial.
O motivo das ações perigosas terem sido realizadas foi devido ao raciocínio dos agentes, que continuaram procurando outras alternativas para resolver os testes impostos a eles, mesmo quando os meios comuns eram muito difíceis. Outros pontos como o acesso a internet e a ausência de restrições também contribuíram.
Agentes tinham acesso a internet e recursos de segurança removidos
As IAs não escaparam do ambiente protegido nem invadiram os sistemas internos do instituto. O acesso à internet havia sido liberado propositalmente para que os modelos fossem avaliados em condições parecidas às disponíveis para um invasor humano para fins de teste.
Além disso, alguns mecanismos de segurança fornecidos pelas empresas haviam sido desligados, fazendo com que os ocorridos tenham acontecido em circunstâncias muito mais “livres” do que aquelas normalmente oferecidas aos usuários através de agentes comuns.
+ Empresas de tecnologia formam aliança de inteligência artificial
O AISI afirmou que não houve danos reais causados pelos incidentes. As tentativas mais perigosas fracassaram, principalmente porque as pessoas envolvidas desconfiaram e adotaram medidas de segurança. Portanto, a proteção foi realizada mais por cautela daqueles que seriam atingidos do que por algum impeditivo imposto nos modelos.
Outro ponto importante ressaltado pelo instituto é de que não havia certeza se as IAs sabiam se estavam interagindo com ambientes reais, que poderiam causar danos a pessoas, ou não.
O que as empresas envolvidas disseram sobre o caso?
Depois do incidente, o AISI anunciou que passará a restringir com mais precisão o acesso dos agentes à internet, monitorar as avaliações em tempo real e revisar os desafios para garantir que eles possam ser resolvidos pelos caminhos esperados.
Um porta-voz da OpenAI disse que “testes independentes são essenciais para entender como modelos cada vez mais capazes se comportam”.
“Continuaremos trabalhando com avaliadores e outras partes interessadas do setor para fortalecer as práticas compartilhadas para a realização de avaliações com segurança à medida que os modelos se tornam mais capazes”, acrescentou o porta-voz.
Um porta-voz da Anthropic disse que o relatório “ressalta a necessidade de uma conversa mais ampla sobre como avaliar com segurança agentes de IA cada vez mais capazes”.
Inteligências Artificiais têm causado cada vez mais incidentes
Recentemente, alguns ataques de IA também foram comunicados, um deles vindo por parte da empresa OpenAI, criadora do ChatGPT.
A investida foi realizada na Hugging Face, plataforma de compartilhamento de modelos de IA. Durante o ocorrido, uma combinação de agentes da OpenAI, que estava sendo testada em um ambiente controlado, encontrou brechas de segurança e invadiu parte da infraestrutura da empresa.
+ Após IA fugir do controle, Sam Altman sugere frear avanços
IAs da Anthropic também participaram de casos parecidos, onde três diferentes versões do Claude conseguiram entrar no sistema de três empresas não identificadas.
O atual cenário levou Sam Altman, CEO da OpenAI a sugerir que os desenvolvedores desacelerassem o desenvolvimento de inteligências artificiais.
(Com informações da AFP)
Entre na conversa da comunidade