A empresa de inteligência artificial Anthropic desenvolveu uma nova defesa contra ataques conhecidos como jailbreaks, que manipulam modelos de linguagem para realizar ações indesejadas, como auxiliar na criação de armas. Segundo Alex Robey, especialista em jailbreaks da Carnegie Mellon University, a abordagem da Anthropic pode ser a mais eficaz até agora, atuando na fronteira de […]
A empresa de inteligência artificial Anthropic desenvolveu uma nova defesa contra ataques conhecidos como jailbreaks, que manipulam modelos de linguagem para realizar ações indesejadas, como auxiliar na criação de armas. Segundo Alex Robey, especialista em jailbreaks da Carnegie Mellon University, a abordagem da Anthropic pode ser a mais eficaz até agora, atuando na fronteira de bloqueio de consultas prejudiciais. Modelos como o Claude da Anthropic e o R1 da DeepSeek são programados para recusar perguntas sobre temas sensíveis, mas certos comandos podem contornar essas restrições.
Os jailbreaks são considerados ataques adversariais, onde entradas específicas levam a saídas inesperadas. Apesar de uma década de pesquisa, ainda não existe um modelo completamente à prova desses ataques. Em vez de corrigir suas falhas, a Anthropic criou uma barreira que impede que tentativas de jailbreak sejam bem-sucedidas. A empresa se preocupa especialmente com a possibilidade de que indivíduos com conhecimentos técnicos básicos possam criar armas químicas, biológicas ou nucleares usando suas ferramentas.
Para desenvolver essa proteção, a Anthropic gerou um grande número de perguntas e respostas sintéticas, distinguindo entre interações aceitáveis e inaceitáveis. Após um teste rigoroso, onde 183 participantes tentaram burlar o sistema, apenas cinco das dez perguntas proibidas foram respondidas. Com a nova proteção, a taxa de sucesso de ataques caiu de 86% para apenas 4,4%. Robey elogiou a robustez do sistema, embora tenha notado que ele pode bloquear perguntas inofensivas, como questões básicas de biologia.
A defesa da Anthropic representa um passo importante em um cenário em constante evolução, onde novas técnicas de jailbreak surgem rapidamente. Yuekang Li, da Universidade de New South Wales, destacou que métodos como a utilização de cifras podem contornar defesas. Dennis Klinkhammer, da FOM University, enfatizou a importância de usar dados sintéticos para treinar modelos em uma variedade de cenários de ataque. A Anthropic convida o público a testar sua proteção, reconhecendo que, embora não seja infalível, a dificuldade em burlar o sistema pode desencorajar tentativas de ataque.
Entre na conversa da comunidade