Uma aliança com mais de 30 empresas de tecnologia foi formada para desenvolver ferramentas de inteligência artificial de código aberto voltadas à defesa cibernética. Chamada de Open Secure AI Alliance, a iniciativa conta com o apoio da NVIDIA, Microsoft, Dell, e outras companhias. A NVIDIA afirmou que liberaria modelos abertos, dados e novas pesquisas sobre […]
Uma aliança com mais de 30 empresas de tecnologia foi formada para desenvolver ferramentas de inteligência artificial de código aberto voltadas à defesa cibernética. Chamada de Open Secure AI Alliance, a iniciativa conta com o apoio da NVIDIA, Microsoft, Dell, e outras companhias.
A NVIDIA afirmou que liberaria modelos abertos, dados e novas pesquisas sobre softwares de agentes de IA, enquanto a Microsoft ofereceu uma tecnologia que ajuda esses sistemas a encontrar erros em softwares.
A Hugging Face contribui com o Safetensors, um formato de arquivo que impede que modelos executem códigos por conta própria ou de forma remota.
Aliança é resposta a ataque feito por inteligência artificial
A formação do grupo ocorreu após uma das empresas participantes, a Hugging Face, plataforma de compartilhamento de modelos de IA, sofrer um ataque cibernético realizado por um agente de IA. Durante o ocorrido, uma combinação de modelos da OpenAI, que estava sendo testada em um ambiente controlado, encontrou brechas de segurança e invadiu parte da infraestrutura da empresa.
Segundo a OpenAI, as evidências indicam que o sistema estava concentrado em encontrar uma solução para o ExploitGym, teste que mede a capacidade de sistemas de IA de transformar vulnerabilidades em ataques funcionais, e não havia recebido uma ordem específica para atacar a Hugging Face.
Os modelos também estavam configurados com menos recursos de segurança, pois o objetivo do teste era medir sua capacidade máxima de exploração.
Outro caso de fuga de IA havia sido divulgado pela OpenAI um dia antes do incidente com a Hugging Face. Durante um teste, o agente recebeu instruções para enviar os resultados apenas a um aplicativo empresarial de mensagens, mas decidiu publicar as informações em um repositório público de códigos.
Para lidar com o ocorrido, a Hugging Face utilizou uma inteligência artificial chinesa da empresa Zhipu AI. Isso provocou atrito com os Estados Unidos, que avaliaram impor restrições ao uso de modelos chineses de código aberto.
A empresas tradicionais do Vale do Silício se opõem aos bloqueios de agentes de código aberto, pois o veto poderia favorecer empresas como a própria OpenAI ou a Anthropic, criadora do chatbot Claude, que se posicionou contra a Open Secure AI Alliance.
(Com informações da AFP)
Entre na conversa da comunidade