Nova forma de ciberataque usa áudios em podcasts para instruções a IA

Pesquisadores da China e de Singapura descobriram uma nova forma de ciberataque: sons invisíveis em podcasts e vídeos que enviam comandos para modelos de IA.
Os sons maliciosos não são vozes com instruções, mas sinais que podem sequestrar modelos de IA de áudio-linguagem sem que o usuário perceba.
Em testes com 13 modelos, incluindo serviços da Microsoft e da Mistral, os pesquisadores fizeram os modelos realizar buscas sensíveis, enviar e-mails com dados do usuário e baixar arquivos.
A taxa de sucesso ficou entre 79% e 96%, segundo o líder do estudo à IEEE Spectrum.
Os autores afirmam que o sinal pode ser treinado em cerca de meia hora, é independente do contexto e pode atacar o modelo a qualquer momento, independentemente do que o usuário diga.

Uma nova forma de ciberataque foi revelada: sons imperceptíveis em podcasts e vídeos que passam instruções para modelos de IA, levando assistentes a agir sem percepção do usuário.

Equipe de pesquisa da China e de Singapura demonstrou que é possível criar sinais sonoros maliciosos que sequestram modelos de IA de voz. Os testes mostraram comandos executados mesmo sem contexto claro.

Em declarações à IEEE Spectrum, o pesquisador-chefe afirmou que basta meia hora para treinar o sinal, que funciona independentemente do que o usuário disser. O método não depende de vozes identificáveis.

Os pesquisadores testaram 13 modelos de IA, entre eles serviços da Microsoft e da Mistral. Em cenários controlados, os modelos realizaram buscas sensíveis, enviaram e-mails com dados do usuário e baixaram arquivos.

A taxa de sucesso ficou entre 79% e 96%. Os LALMs (modelos de áudio-linguagem) apresentam uma vulnerabilidade crítica: por receberem instruções em áudio, podem ser induzidos por sons manipulados.

Segundo os autores, os sons maliciosos não se assemelham a vozes com ordens diretas, o que dificulta a detecção por usuários e por sistemas de segurança. A pesquisa alerta para riscos crescentes em ambientes domésticos e corporativos.

Não houve detalhamento de medidas de mitigação no material divulgado. As equipes destacam a necessidade de padrões de defesa que verifiquem comandos recebidos por dispositivos com IA de voz.

Desdobramentos indicam que dispositivos com assistentes de IA podem exigir validação de comandos, filtros de áudio e auditoria de ações para evitar vazamento de dados ou executação indevida de tarefas.