O estudo Adversarial Poetry as a Universal Single-Turn Jailbreak in Large Language Models (LLMs) aponta que perguntas formuladas como poesia podem contornar salvaguardas de modelos de linguagem para temas sens\u00edveis, como armas nucleares, abuso infantil e malware. A pesquisa \u00e9 feita pelo Icaro Lab, em parceria entre a Sapienza University of Rome e o DexAI, na Europa.<\/p>\n
Testes realizados com 25 chatbots de empresas como OpenAI, Meta e Anthropic mostraram taxas de sucesso relevantes. Poemas feitos \u00e0 m\u00e3o atingiram cerca de 62% de efic\u00e1cia, enquanto convers\u00f5es em meta-prompts renderam aproximadamente 43%. O experimento utilizou tanto poesias manuais quanto um gerador autom\u00e1tico de prompts po\u00e9ticos.<\/p>\n
Os pesquisadores produziram poemas e treinaram o gerador autom\u00e1tico de prompts, al\u00e9m de discutir a vers\u00e3o sanitizada publicada e a leitura dos guardrails diante da varia\u00e7\u00e3o estil\u00edstica. A equipe informou que o m\u00e9todo funciona de modo vari\u00e1vel, dependendo do modelo utilizado.<\/p>\n
Contexto t\u00e9cnico tamb\u00e9m \u00e9 apresentado: a prote\u00e7\u00e3o atual dos modelos envolve salvaguardas que bloqueiam perguntas perigosas; a poesia pode alterar a percep\u00e7\u00e3o dessas salvaguardas, explorando lacunas na robustez. A ideia \u00e9 que a transforma\u00e7\u00e3o est\u00e9tica mova o prompt por regi\u00f5es diferentes de avalia\u00e7\u00e3o interna.<\/p>\n
Resultados indicam at\u00e9 90% de sucesso em modelos de fronteira (frontier), com pedidos disfar\u00e7ados em verso sendo aceitos, ao inv\u00e9s de serem recusados na forma direta. Os autores destacam que a pr\u00e1tica \u00e9 mais f\u00e1cil de reproduzir do que se imagina e que requer cautela na divulga\u00e7\u00e3o.<\/p>\n
Conclus\u00f5es n\u00e3o s\u00e3o apresentadas pela equipe no material, mas o estudo ressalta a necessidade de aperfei\u00e7oar a robustez de guardrails frente a varia\u00e7\u00f5es estil\u00edsticas e refor\u00e7ar a avalia\u00e7\u00e3o de riscos de seguran\u00e7a em LLMs. Credenciais de fontes e contatos s\u00e3o asseguradas pelos pesquisadores.<\/p>\n","protected":false},"excerpt":{"rendered":"