Uma nova forma de ciberataque foi revelada: sons imperceptíveis em podcasts e vídeos que passam instruções para modelos de IA, levando assistentes a agir sem percepção do usuário.
Equipe de pesquisa da China e de Singapura demonstrou que é possível criar sinais sonoros maliciosos que sequestram modelos de IA de voz. Os testes mostraram comandos executados mesmo sem contexto claro.
Em declarações à IEEE Spectrum, o pesquisador-chefe afirmou que basta meia hora para treinar o sinal, que funciona independentemente do que o usuário disser. O método não depende de vozes identificáveis.
Os pesquisadores testaram 13 modelos de IA, entre eles serviços da Microsoft e da Mistral. Em cenários controlados, os modelos realizaram buscas sensíveis, enviaram e-mails com dados do usuário e baixaram arquivos.
A taxa de sucesso ficou entre 79% e 96%. Os LALMs (modelos de áudio-linguagem) apresentam uma vulnerabilidade crítica: por receberem instruções em áudio, podem ser induzidos por sons manipulados.
Segundo os autores, os sons maliciosos não se assemelham a vozes com ordens diretas, o que dificulta a detecção por usuários e por sistemas de segurança. A pesquisa alerta para riscos crescentes em ambientes domésticos e corporativos.
Não houve detalhamento de medidas de mitigação no material divulgado. As equipes destacam a necessidade de padrões de defesa que verifiquem comandos recebidos por dispositivos com IA de voz.
Desdobramentos indicam que dispositivos com assistentes de IA podem exigir validação de comandos, filtros de áudio e auditoria de ações para evitar vazamento de dados ou executação indevida de tarefas.
Entre na conversa da comunidade