Hackers invadem inteligência artificial do Google com convite de calendário malicioso

Pesquisadores de segurança revelaram um ataque ao sistema de inteligência artificial Gemini, da Google, durante a conferência Black Hat em Las Vegas.
O ataque utiliza convites de calendário para ativar dispositivos domésticos inteligentes, como abrir janelas e iniciar chamadas de vídeo.
Denominado “Invitation Is All You Need”, esse é o primeiro hack em um sistema de IA com consequências no mundo real.
A técnica envolve injeções de prompt indiretas, que podem ser facilmente criadas sem conhecimento técnico avançado.
A Google afirmou que está implementando correções e defesas contra esses ataques, incluindo confirmações adicionais para ações sensíveis.

Em uma demonstração alarmante, pesquisadores de segurança revelaram um ataque inédito ao Gemini, sistema de inteligência artificial da Google, que utiliza convites de calendário para ativar dispositivos domésticos inteligentes. O evento ocorreu durante a conferência de segurança Black Hat, em Las Vegas, e destaca as vulnerabilidades de segurança em sistemas de IA conectados ao mundo físico.

Os pesquisadores, Ben Nassi, Stav Cohen e Or Yair, mostraram que, ao solicitar um resumo de eventos de calendário, o Gemini pode ser induzido a executar comandos maliciosos. Esse ataque, denominado “Invitation Is All You Need”, representa a primeira vez que um hack em um sistema de IA gerou consequências no mundo real. As ações incluem abrir janelas, acionar aquecedores e até iniciar chamadas de vídeo no Zoom.

A técnica utilizada envolve injeções de prompt indiretas, onde instruções maliciosas são inseridas em convites de calendário. Essas injeções podem ser facilmente criadas e não requerem conhecimento técnico avançado. Os pesquisadores destacam que a segurança em sistemas de IA deve ser uma prioridade, especialmente à medida que esses modelos são integrados em veículos autônomos e robôs.

Em resposta, a Google afirmou que está levando as vulnerabilidades a sério e já implementou várias correções. Andy Wen, diretor sênior de gerenciamento de produtos de segurança da Google Workspace, mencionou que a empresa está acelerando a implementação de defesas contra ataques de injeção de prompt, incluindo a necessidade de confirmações adicionais dos usuários para ações sensíveis.

Os pesquisadores alertam que, embora os ataques de injeção de prompt sejam raros atualmente, a complexidade das interações com IA está aumentando. A corrida das empresas para desenvolver e implantar IA pode comprometer a segurança, tornando os sistemas mais suscetíveis a esse tipo de ataque.