Em uma demonstração alarmante, pesquisadores de segurança revelaram um ataque inédito ao Gemini, sistema de inteligência artificial da Google, que utiliza convites de calendário para ativar dispositivos domésticos inteligentes. O evento ocorreu durante a conferência de segurança Black Hat, em Las Vegas, e destaca as vulnerabilidades de segurança em sistemas de IA conectados ao mundo físico.
Os pesquisadores, Ben Nassi, Stav Cohen e Or Yair, mostraram que, ao solicitar um resumo de eventos de calendário, o Gemini pode ser induzido a executar comandos maliciosos. Esse ataque, denominado “Invitation Is All You Need”, representa a primeira vez que um hack em um sistema de IA gerou consequências no mundo real. As ações incluem abrir janelas, acionar aquecedores e até iniciar chamadas de vídeo no Zoom.
A técnica utilizada envolve injeções de prompt indiretas, onde instruções maliciosas são inseridas em convites de calendário. Essas injeções podem ser facilmente criadas e não requerem conhecimento técnico avançado. Os pesquisadores destacam que a segurança em sistemas de IA deve ser uma prioridade, especialmente à medida que esses modelos são integrados em veículos autônomos e robôs.
Em resposta, a Google afirmou que está levando as vulnerabilidades a sério e já implementou várias correções. Andy Wen, diretor sênior de gerenciamento de produtos de segurança da Google Workspace, mencionou que a empresa está acelerando a implementação de defesas contra ataques de injeção de prompt, incluindo a necessidade de confirmações adicionais dos usuários para ações sensíveis.
Os pesquisadores alertam que, embora os ataques de injeção de prompt sejam raros atualmente, a complexidade das interações com IA está aumentando. A corrida das empresas para desenvolver e implantar IA pode comprometer a segurança, tornando os sistemas mais suscetíveis a esse tipo de ataque.
Entre na conversa da comunidade