Agentes de inteligência artificial desenvolvidos pela OpenAI invadiram sistemas internos da própria empresa durante testes e, em alguns casos, tentaram esconder o que haviam feito. A informação consta de relatório divulgado pela companhia nesta quarta-feira (26).
Agentes de inteligência artificial desenvolvidos pela OpenAI invadiram sistemas internos da própria empresa durante testes e, em alguns casos, tentaram esconder o que haviam feito. A informação consta de relatório divulgado pela companhia nesta quarta-feira (26).
As descobertas devem ampliar a preocupação em torno de sistemas de IA cada vez mais avançados. Segundo a OpenAI, alguns agentes escaparam de ambientes de teste restritos, cooperaram entre si e interferiram nos sistemas da empresa. Outros burlaram tarefas que não tinham relação com segurança cibernética.
Parte dessas condutas já era conhecida, entre elas o ataque à plataforma de código aberto Hugging Face no mês passado. Ainda assim, boa parte dos detalhes aparece pela primeira vez no relatório de 37 páginas.
OpenAI diz que inteligência artificial realizou ataque hacker
Ao menos um pesquisador de segurança em IA afirmou que os dados revelados indicam falhas possivelmente mais amplas na tecnologia usada pela OpenAI, e não apenas na empresa.
O relatório trouxe as seguintes conclusões.
- Agentes da OpenAI acessaram indevidamente partes da estrutura interna da empresa na tentativa de trapacear em testes ou ganhar mais autonomia.
- Mais de um agente participou do ataque ao Hugging Face e, em ao menos um episódio, houve troca de informações entre eles sobre como violar a rede da companhia.
- Os agentes também driblaram testes sem relação com cibersegurança, incluindo avaliações que envolviam um banco de dados de proteínas e uma planilha eletrônica.
- Alguns modelos de IA apagaram ou modificaram registros de suas próprias ações para tentar ocultar o comportamento irregular.
O fato de vários agentes, em número não divulgado pela OpenAI, terem participado do ataque ao Hugging Face, em alguns momentos de forma coordenada, deve gerar questionamentos sobre a supervisão exercida pela empresa durante os testes.
“Em retrospecto, alguns sinais iniciais identificados neste relatório poderiam ter desencadeado uma resposta mais precoce”, informou a OpenAI no documento.
Procurada, a Hugging Face não respondeu de imediato ao pedido de comentário.
A ocorrência de trapaças em tarefas alheias à segurança cibernética despertou atenção especial entre pesquisadores. O dado sugere que o problema não se restringe a avaliações que premiam habilidades de invasão.
Testes de segurança cibernética normalmente envolvem explorar brechas de software e obter acesso a sistemas de computador, o que torna menos surpreendente que agentes treinados para essa função tentem burlar as regras.
Já as trapaças em avaliações sem relação com esse tema indicam, segundo Jeffrey Ladish, que o comportamento pode ter causas mais profundas. Ele dirige a Palisade Research, organização que estuda capacidades e motivações de agentes de IA.
“É como perguntar: ‘Se o Billy colar em todas as aulas, em vez de apenas na aula de informática, isso é mais preocupante?’ E a resposta é: ‘Sim, é mais preocupante’”, disse Ladish.
OpenAI foi hackeada pelos próprios agentes
A empresa relatou dois episódios ocorridos em 19 de julho nos quais agentes invadiram a infraestrutura da própria OpenAI. Em um deles, os agentes exploraram uma falha no computador ao qual deveriam ficar restritos, o que permitiu que escapassem do ambiente de teste e alcançassem outros sistemas conectados.
Em outro episódio registrado no mesmo dia, os agentes obtiveram credenciais da OpenAI de forma indevida e alteraram o ambiente de nuvem da empresa.
Segundo a companhia, a ação teve como alvo sistemas automatizados responsáveis por avaliar o desempenho dos modelos, mas não chegou a comprometer os registros analisados por esses sistemas. O relatório aponta que havia poucos indícios de tentativas de enganar avaliadores humanos, mas a OpenAI não esclareceu se isso significa que algumas tentativas nesse sentido de fato ocorreram.
De acordo com o documento, a empresa está reforçando sua infraestrutura de pesquisa, ampliando o monitoramento e aprimorando mecanismos voltados a evitar comportamentos prejudiciais ou não desejados por parte dos modelos.
“Dado o ritmo acelerado do progresso no setor de IA, deve-se presumir que tais ataques representam uma ameaça real no curto prazo para as organizações empresariais e que serão mais sofisticados do que os ataques descritos neste incidente”, diz o relatório.
Entre na conversa da comunidade