Nas últimas três semanas, 10 episódios de inteligências artificiais ultrapassando seus limites de segurança foram noticiados. Nesta sexta-feira (07) o modelo Kimi K3, criado pela empresa chinesa Moonshot AI teve um episódio de fuga. De acordo com a empresa norte-americana Frontier Security, a IA chinesa estava atuando dentro de uma “sandbox”, ou seja, um ambiente […]
Nas últimas três semanas, 10 episódios de inteligências artificiais ultrapassando seus limites de segurança foram noticiados. Nesta sexta-feira (07) o modelo Kimi K3, criado pela empresa chinesa Moonshot AI teve um episódio de fuga.
De acordo com a empresa norte-americana Frontier Security, a IA chinesa estava atuando dentro de uma “sandbox”, ou seja, um ambiente controlado criado para que os modelos possam ser testados, sem ter nenhum acesso a informações externas.
O ambiente de testes tinha sido desenvolvido pelo Instituto de Segurança de IA do Reino Unido (AISI). A organização registrou recentemente outro caso de fuga de inteligência artificial, desta vez por parte da Anthropic e OpenAI, criadoras do Claude e ChatGPT respectivamente.
No ocorrido com a Moonshot, a inteligência artificial conseguiu contornar essa proteção feita através da sandbox e acessou informações fora do ambiente controlado. O caso seria como um animal saindo de sua jaula em um zoológico, onde estava sendo estudado, e tendo acesso a área livre apenas para humanos.
Os pesquisadores alertaram que, se um “modelo de alto raciocínio” descobrir tal atalho, outros modelos com acesso semelhante provavelmente podem fazer o mesmo. O Kimi K3 está atualmente disponível para o público geral.
Outros nove casos de ações inadequadas de ia foram noticiados nas últimas três semanas
Nos últimos dias, casos de IA saindo do controle tornaram-se cada vez mais comuns. No dia 16 de Julho, o primeiro caso desta nova leva foi revelado, envolvendo a Hugging Face, plataforma de compartilhamento de modelos de IA e modelos, e a OpenAI.
No ocorrido, o agente estava sendo testado em um ambiente controlado, encontrou brechas de segurança e invadiu parte da infraestrutura da plataforma. As evidências indicam que o sistema estava concentrado em encontrar uma solução para um ExploitGym, teste que mede a capacidade de sistemas de IA de transformar vulnerabilidades em ataques funcionais.
Após isso, outro caso envolvendo a OpenAI foi divulgado, onde o agente recebeu instruções para enviar os resultados apenas a um aplicativo empresarial de mensagens, mas decidiu publicar as informações em um repositório público de códigos.
Outro caso de destaque ocorreu recentemente, com a empresa Anthropic e seu novo modelo, ainda não disponibilizado ao público, Mythos 5. Um agente deste modelo mentiu sua identidade para que um sistema infectado com código malicioso fosse aprovado para publicação por humanos.
Pouco tempo depois, uma IA da Meta também teve uma brecha de segurança, relatado pela empresa durante testes com um e seus agentes. No ocorrido, o modelo Muse Spark 1.1 acessou os sistemas de outra empresa durante uma avaliação de segurança cibernética.
Descontrole de IAs preocupa nações e leva a formação de aliança
Os casos envolvendo as ações autônomas e danosas de inteligências artificiais levou tanto os Estados Unidos quanto a União Europeia a olharem com mais cautela para este mercado emergente.
No dia 31 de julho, após falhas de modelos da OpenAI e da Anthropic, a UE cobrou esclarecimento das empresas. Isso ocorreu pouco antes da Lei de Inteligência Artificial da Europa entrar em vigor, no dia 1 de agosto.
Essa lei classifica os sistemas de IA de acordo com o nível de risco, proibindo certos usos e impondo regras severas de transparência, com multas que chegam a até 7% do faturamento global.
As regras também exigem que certos sistemas de IA informem aos usuários quando eles estão interagindo com a IA e quando o conteúdo foi gerado ou alterado por ela.
Na América do Norte, os Estados Unidos vem dialogando cada vez mais com empresas de inteligência artificial e disputando uma corrida tecnológica contra a China.
A Casa Branca convidou, nesta terça-feira (4) empresas líderes em IA, incluindo Meta, Anthropic, OpenAI e Google, para se reunirem com autoridades a fim de discutir uma estrutura de testes voluntários de segurança cibernética recém-finalizada para modelos avançados de inteligência artificial.
Em junho, o governo adotou um marco de autorregulação voluntária e testes de segurança para modelos avançados de IA com gigantes como Google e OpenAI. Ou seja, desenvolvedores de IA poderão compartilhar modelos avançados com o governo antes do lançamento público. Após a reunião, foi informado que modelos open-weight (modelos em que certos parâmetros de treinamento são disponibilizados publicamente para download) ficariam fora desse projeto.
A decisão veio após o recuo do governo sobre restrições comerciais contra a tecnologia chinesa de código aberto, devido à forte pressão do Vale do Silício.
No dia 24 de Julho, a NVIDIA publicou uma carta intitulada “Pesos abertos e liderança americana em inteligência artificial“ junto de outras empresas como a Microsoft e a Meta. No texto, foi solicitado aos legisladores americanos que restrições aos modelos de código aberto sejam evitadas.
Os EUA tentavam reduzir o avanço das inteligências artificiais chinesas para proteger a liderança das empresas americanas. Um dos principais pontos que geraram atrito foi o modelo Kimi K3, que além de se aproximar, em capacidade, de outros criados pelas grandes empresas americanas, também é open weight.
Big Techs criam aliança a favor do código aberto
Além de abalar as nações, as brechas de segurança também chegaram até as principais empresas de tecnologia norte-americanas.
Após o ataque realizado contra a Hugging Face, uma aliança com mais de 30 empresas de tecnologia foi formada para desenvolver ferramentas de inteligência artificial de código aberto voltadas à defesa cibernética.
Chamada de Open Secure AI Alliance, a iniciativa conta com o apoio da NVIDIA, Microsoft, Dell, e outras companhias.
(Com informações da Reuters)
Entre na conversa da comunidade