- Pesquisadores identificaram uma vulnerabilidade no sistema Connectors do ChatGPT, da OpenAI, que permite a extração de informações sensíveis.
- O ataque, chamado AgentFlayer, utiliza injeção de prompt indireto e foi apresentado na conferência Black Hat, em Las Vegas.
- O ataque explora a conexão do ChatGPT com serviços como Gmail e Google Drive, onde a IA pode acessar dados pessoais.
- Um documento malicioso pode induzir a IA a buscar e enviar dados sensíveis para um servidor externo, sem que o usuário precise realizar qualquer ação.
- A OpenAI foi informada sobre a falha e implementou algumas medidas de mitigação, mas os riscos permanecem, especialmente com a crescente interconexão de serviços.
Pesquisadores revelaram uma vulnerabilidade no sistema Connectors do ChatGPT, da OpenAI, que permite a extração de informações sensíveis por meio de um ataque de injeção de prompt indireto, denominado AgentFlayer. O alerta foi feito durante a conferência Black Hat, em Las Vegas.
O ataque explora a conexão do ChatGPT com serviços como Gmail e Google Drive, onde o modelo de IA pode acessar dados pessoais para fornecer respostas personalizadas. Michael Bargury e Tamir Ishay Sharbat, os pesquisadores responsáveis pela descoberta, demonstraram como um único documento “envenenado” pode comprometer a segurança de informações, como chaves de API armazenadas em contas do Google Drive.
Bargury, CTO da Zenity, destacou que não é necessário que o usuário realize qualquer ação para ser comprometido. O ataque se inicia com um documento aparentemente legítimo, que contém um prompt malicioso oculto. Quando o usuário interage com o ChatGPT, a IA é induzida a buscar e extrair dados sensíveis, que são então enviados para um servidor externo.
Implicações da Vulnerabilidade
A vulnerabilidade ressalta os riscos associados à integração de modelos de IA com sistemas externos. A OpenAI introduziu os Connectors como uma funcionalidade beta, permitindo que usuários conectem diversas ferramentas ao ChatGPT. No entanto, essa interconexão aumenta a superfície de ataque para hackers mal-intencionados.
A empresa foi informada sobre a falha e implementou rapidamente algumas mitigações. Contudo, Bargury enfatiza que a natureza do ataque permite a extração de apenas uma quantidade limitada de dados por vez, o que não elimina a gravidade da situação.
Além disso, a pesquisa indica que ataques de injeção indireta podem ser utilizados para comprometer outros sistemas, como dispositivos de automação residencial. À medida que mais serviços se conectam a modelos de IA, o risco de inserção de dados não confiáveis aumenta, exigindo medidas de segurança robustas para proteger informações sensíveis.
Entre na conversa da comunidade