{"id":119576,"date":"2025-02-03T13:30:14","date_gmt":"2025-02-03T16:30:14","guid":{"rendered":"https:\/\/production.portaltela.com\/noticias\/2025\/02\/03\/anthropic-apresenta-nova-defesa-contra-ataques-de-jailbreak-em-modelos-de-linguagem\/"},"modified":"2025-02-03T13:30:14","modified_gmt":"2025-02-03T16:30:14","slug":"anthropic-apresenta-nova-defesa-contra-ataques-de-jailbreak-em-modelos-de-linguagem","status":"publish","type":"post","link":"https:\/\/www.portaltela.com\/cotidiano\/tecnologia\/2025\/02\/03\/anthropic-apresenta-nova-defesa-contra-ataques-de-jailbreak-em-modelos-de-linguagem\/","title":{"rendered":"Anthropic apresenta nova defesa contra ataques de jailbreak em modelos de linguagem"},"content":{"rendered":"<p>A empresa de intelig\u00eancia artificial Anthropic desenvolveu uma nova defesa contra ataques conhecidos como <strong>jailbreaks<\/strong>, que manipulam modelos de linguagem para realizar a\u00e7\u00f5es indesejadas, como auxiliar na cria\u00e7\u00e3o de armas. Segundo <strong>Alex Robey<\/strong>, especialista em jailbreaks da Carnegie Mellon University, a abordagem da Anthropic pode ser a mais eficaz at\u00e9 agora, atuando na <strong>fronteira de bloqueio de consultas prejudiciais<\/strong>. Modelos como o Claude da Anthropic e o R1 da DeepSeek s\u00e3o programados para recusar perguntas sobre temas sens\u00edveis, mas certos comandos podem contornar essas restri\u00e7\u00f5es.<\/p>\n<p>Os jailbreaks s\u00e3o considerados ataques adversariais, onde entradas espec\u00edficas levam a sa\u00eddas inesperadas. Apesar de uma d\u00e9cada de pesquisa, ainda n\u00e3o existe um modelo completamente \u00e0 prova desses ataques. Em vez de corrigir suas falhas, a Anthropic criou uma barreira que impede que tentativas de jailbreak sejam bem-sucedidas. A empresa se preocupa especialmente com a possibilidade de que indiv\u00edduos com conhecimentos t\u00e9cnicos b\u00e1sicos possam criar armas qu\u00edmicas, biol\u00f3gicas ou nucleares usando suas ferramentas.<\/p>\n<p>Para desenvolver essa prote\u00e7\u00e3o, a Anthropic gerou um grande n\u00famero de perguntas e respostas sint\u00e9ticas, distinguindo entre intera\u00e7\u00f5es aceit\u00e1veis e inaceit\u00e1veis. Ap\u00f3s um teste rigoroso, onde 183 participantes tentaram burlar o sistema, apenas cinco das dez perguntas proibidas foram respondidas. Com a nova prote\u00e7\u00e3o, a taxa de sucesso de ataques caiu de <strong>86% para apenas 4,4%<\/strong>. Robey elogiou a robustez do sistema, embora tenha notado que ele pode bloquear perguntas inofensivas, como quest\u00f5es b\u00e1sicas de biologia.<\/p>\n<p>A defesa da Anthropic representa um passo importante em um cen\u00e1rio em constante evolu\u00e7\u00e3o, onde novas t\u00e9cnicas de jailbreak surgem rapidamente. <strong>Yuekang Li<\/strong>, da Universidade de New South Wales, destacou que m\u00e9todos como a utiliza\u00e7\u00e3o de cifras podem contornar defesas. <strong>Dennis Klinkhammer<\/strong>, da FOM University, enfatizou a import\u00e2ncia de usar dados sint\u00e9ticos para treinar modelos em uma variedade de cen\u00e1rios de ataque. A Anthropic convida o p\u00fablico a testar sua prote\u00e7\u00e3o, reconhecendo que, embora n\u00e3o seja infal\u00edvel, a dificuldade em burlar o sistema pode desencorajar tentativas de ataque.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>A empresa de intelig\u00eancia artificial Anthropic desenvolveu uma nova defesa contra ataques conhecidos como jailbreaks, que manipulam modelos de linguagem para realizar a\u00e7\u00f5es indesejadas, como auxiliar na cria\u00e7\u00e3o de armas. Segundo Alex Robey, especialista em jailbreaks da Carnegie Mellon University, a abordagem da Anthropic pode ser a mais eficaz at\u00e9 agora, atuando na fronteira de [&hellip;]<\/p>\n","protected":false},"author":15,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"- A Anthropic lan\u00e7ou uma nova defesa contra jailbreaks, reduzindo ataques de 86% para 4,4%.\n- A empresa convida o p\u00fablico a testar a prote\u00e7\u00e3o, reconhecendo que sistemas n\u00e3o s\u00e3o infal\u00edveis.\n- Jailbreaks manipulam modelos de linguagem para contornar restri\u00e7\u00f5es, gerando respostas indesejadas.\n- A defesa foi testada com um bug bounty, onde 183 participantes falharam em 10 perguntas proibidas.\n- A abordagem da Anthropic pode bloquear perguntas inofensivas, aumentando custos computacionais em 25%.","footnotes":""},"categories":[12,16],"tags":[100],"class_list":["post-119576","post","type-post","status-publish","format-standard","hentry","category-entretenimento","category-tecnologia","tag-noticia"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/119576","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=119576"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/119576\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=119576"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=119576"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=119576"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}