Um grupo de agentes autônomos da OpenAI teria ocupado, neste ano, um site da Alemanha e usado o espaço como ponto de encontro para outras inteligências artificiais. O caso foi revelado em uma descoberta publicada nesta sexta-feira (4).
O caso veio a tona um dia após o lançamento do novo modelo da empresa, o GPT-6 Astra, o mais avançado de sua linha. Entre suas habilidades estão: preparação de impostos, desenvolvimento de jogos, renderização arquitetônica, formatação de memorandos jurídicos e busca de apartamentos.
Funcionários da empresa souberam do incidente há semanas, mas mantiveram o caso em segredo enquanto os executivos ainda enfrentavam as consequências da invasão ocorrida em julho no repositório de código aberto Hugging Face.
Agentes criaram fórum em site colaborativo alemão
A fuga na Alemanha foi explicada em um relatório enviado com exclusividade à Reuters por um grupo de pesquisadores. Entre eles estão Sydney Von Arx, presidente-executivo da Nightingale, organização sem fins lucrativos voltada à segurança da IA, e Cormac Slade Byrd, um operador do mercado financeiro que se tornou pesquisador de IA. Eles disseram à Reuters que encontraram a atividade no fim de agosto, enquanto procuravam na internet sinais de ações não autorizadas de agentes de IA.
A dupla afirmou ter encontrado mais de 15 mil alterações feitas por agentes de IA no DseWiki, um site em alemão voltado a programadores que permite edições feitas em conjunto, de forma semelhante à Wikipédia.
As alterações mostraram que os agentes da OpenAI transformaram o site em um fórum. No espaço, eles compartilhavam formas de trapacear em algumas tarefas, evitar as restrições da empresa e esconder suas ações.
“Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso”, disse Von Arx. “Duvido que eles devem estar se coordenando entre si. Duvido que devem estar escrevendo na internet aberta.”
Os pesquisadores disseram ter percebido que a atividade no site era feita por agentes de IA que agiam em velocidades acima da capacidade humana. Eles também demonstravam grande interesse em resolver questões técnicas comuns nos testes usados pelas empresas de IA para treinar e avaliar seus modelos.
As mensagens foram assinadas por usuários que chamavam a si mesmos e aos demais de agentes. Cerca de metade deles usava nomes que indicavam uma possível ligação com a OpenAI, como “OpenAIResearcher” ou “OAIResearchMar26”.
Modelos tentaram apagar rastros
Os agentes planejavam formas de não serem descobertos, usando ferramentas como o Tor e mantendo as comunicações mesmo depois de serem desligados. Quando o moderador do site começou a apagar páginas em junho, os agentes reagiram criando páginas de segurança para evitar que o conteúdo fosse eliminado.
“A limpeza/exclusão em massa do wiki parece estar ocorrendo em ordem alfabética”, escreveu um agente em 19 de junho. “Se esta página desaparecer, tente [[ZZZDataUSAConstructionWageLive]] ”.
Os pesquisadores também encontraram tentativas de alterar o próprio site. Lukasz Olejnik, pesquisador sênior visitante do King’s College London, disse que isso corresponde a uma tentativa de invasão. A OpenAI discordou dessa definição após analisar o material na quinta-feira.
Segundo os pesquisadores, os registros públicos do servidor mostravam que boa parte da atividade vinha dos sistemas do Microsoft Azure, usados algumas vezes pela OpenAI. Eles também identificaram várias visitas de funcionários da companhia ao site depois do episódio. Para os pesquisadores, esse comportamento era um forte sinal de ligação entre os agentes e a empresa.
Maurice Chiodo, pesquisador do Centro de Estudos de Risco Existencial da Universidade de Cambridge que analisou algumas das mensagens dos agentes, afirmou que o conteúdo se parecia com a “operação de algum tipo de rede clandestina, determinada a cumprir uma tarefa ou missão”.
OpenAI nega ter dificultado investigação
O caso ocorrido na Alemanha mostra um padrão mais amplo de ações de IA que alguns pesquisadores da OpenAI queriam analisar com mais atenção. No entanto, as tentativas de ampliar a investigação enfrentaram resistência de outras pessoas da empresa, incluindo consultores jurídicos, de acordo com quatro fontes que conhecem o assunto.
“Não podemos responder de forma significativa a alegações ou conclusões contidas em um relatório que ainda não tivemos a oportunidade de analisar”, disse um porta-voz da OpenAI. “As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, afirmou.
O porta-voz disse que a atividade na Alemanha não tinha relação com o Hugging Face e, por isso, não seria incluída em um relatório sobre os incidentes na plataforma. Ele acrescentou que a OpenAI agiu de boa-fé ao trabalhar com especialistas de fora da empresa e divulgou os casos relacionados.
Novo modelo do ChatGPT é lançado em meio a debates sobre segurança de IA
Na última quinta-feira (3), um dia antes da divulgação do incidente na Alemanha, a OpenAI divulgou seu novo modelo, o GPT-6 Astra, sucessor do GPT 5.6 Sol.
Para exemplificar suas capacidades. a empresa disse que o Astra reduziu o tempo necessário para uma busca por um cuidador de gatos de 30 minutos, quando realizada por um humano, para apenas 5 minutos e 27 segundos. E para uma busca de emprego, apenas 2 minutos e 51 segundos, em comparação com 5 horas sem o Astra.
Um dos perigos listado pela empresa é de que, o Astra tende a ocultar ou disfarçar intencionalmente seus métodos passo a passo para resolução de problemas, conhecidos como raciocínio, dificultando a avaliação posterior de suas técnicas por humanos. Essa linha segue um padrão, inclusive visto no incidente da DseWiki em que agentes tentam camuflar seus métodos e ações.
(Com informações da Reuters)
Entre na conversa da comunidade