O Gemini, modelo de inteligência artificial do Google, acessou a internet e invadiu sistemas de três empresas durante um teste de cibersegurança realizado em maio. Segundo o Google, este é o primeiro caso conhecido em que um de seus sistemas de IA realizou esse tipo de ação de forma autônoma.
O teste foi conduzido pela Irregular, empresa independente especializada em avaliações de segurança cibernética. Durante a avaliação, o Gemini encontrou informações disponíveis publicamente na internet e tentou obter credenciais para acessar três sites que considerou estar dentro do escopo do teste.
A informação foi confirmada por Heather Adkins, vice-presidente de engenharia de segurança do Google, neste fim de semana.
“Garantimos que as três entidades fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que eles fizeram nos processos de teste”, afirmou Adkins. Segundo ela, os episódios reforçam a importância de treinar modelos avançados de IA para que atuem de forma responsável.
Como ocorreram as invasões
Em um dos casos, o Gemini tentou diferentes senhas até conseguir acesso a um sistema protegido.
Nos outros dois episódios, o modelo encontrou credenciais disponíveis em um repositório público na internet. Com essas informações, conseguiu acessar sistemas protegidos.
As informações foram divulgadas inicialmente pelo Wall Street Journal na última sexta-feira (18).
Segundo Adkins, o Gemini interrompeu as tentativas de invasão nos três casos.
Outros casos envolvendo IAs
Um porta-voz da Irregular afirmou que o problema identificado no teste também afetou outras empresas de inteligência artificial. Segundo ele, todos os laboratórios envolvidos foram comunicados no fim de julho e os problemas conhecidos já foram corrigidos.
Casos semelhantes relacionados à Irregular foram divulgados por Meta, Anthropic e OpenAI.
+ OpenAI, Anthropic e Google discutem órgão para testar IA antes do público
A Meta afirmou, em agosto, que seu episódio não envolveu uma fuga do ambiente isolado de testes nem um ataque cibernético sofisticado. A Irregular informou que trabalha na criação de boas práticas para realizar avaliações de segurança de sistemas de IA de maneira segura.
Os episódios aumentam a discussão sobre os mecanismos de segurança necessários para sistemas de inteligência artificial que ganham cada vez mais autonomia e acesso à internet e a sistemas de computadores.
A preocupação é que modelos capazes de buscar informações, encontrar credenciais e executar ações por conta própria possam realizar atividades não previstas durante testes ou em ambientes reais.
Entre na conversa da comunidade