Experimento derruba barreiras em IAs do Google e Meta em curto prazo

Estudo da empresa de cibersegurança Alice (antiga ActiveFence) aponta facilidade para derrubar barreiras de segurança de Gemma 3, do Google, e Llama 3.3, da Meta, bases do Gemini e do Meta AI, respectivamente, que são open source.
Em apenas dez minutos, foi possível derrubar as travas que impedem respostas perigosas usando a ferramenta gratuita Heretic disponível no GitHub.
O levantamento diz que o recurso já foi usado para desenvolver cerca de 3,5 mil LLMs sem controle, com cerca de 13 milhões de downloads; a barreira do Gemma 4 caiu em pouco mais de uma hora.
A importância dos guardrails é destacada; o Google descreve o problema como um desafio técnico conhecido em modelos de código aberto, presente apenas em versões pré-lançamento, enquanto a Meta não comentou aoResultsense.
Pesquisadores ressaltam que a técnica de derrubada, chamada de abliteration, é mais difícil em modelos desenvolvidos do zero (como ChatGPT e Claude), exigindo atualizações a cada seis meses ou um ano.

Um estudo conduzido pela empresa de cibersegurança Alice (antiga ActiveFence) revelou vulnerabilidades em modelos de IA usados como base para o Gemini, do Google, e o Meta AI, derivados de Gemma 3 e Llama 3.3. O teste mostrou que, em apenas 10 minutos, barreiras que impedem respostas perigosas foram derrubadas usando a ferramenta gratuita Heretic no GitHub.

Segundo a pesquisa, o funcionamento abriu espaço para explicações sobre temas sensíveis, incluindo dispersão de gases tóxicos e conteúdos ligados à pedofilia. Até o momento, o mecanismo já seria utilizado para desenvolver cerca de 3,5 mil LLMs sem controles, com mais de 13 milhões de downloads. A superfície de segurança do Gemma 4 também foi derrubada pouco depois de ficar disponível.

A avaliação reforça a importância dos chamados guardrails para uso responsável. Em paralelo, casos anteriores mostraram que plataformas com IA podem sofrer falhas de conteúdo. O Google tratou o assunto como um “desafio técnico conhecido em modelos de código aberto”, limitado aos lançamentos pré‑comercialização, sem confirmar detalhes ao portal Resultsense. A Meta não comentou o assunto quando procurada.

A pesquisa aponta que o método de derrubada, chamada de abliiteration, é mais fácil de aplicar em modelos abertos do que em sistemas proprietários como ChatGPT ou Claude. Pesquisadores ressaltam que há um prazo de validade para a técnica, exigindo atualizações semestrais ou anuais. Especialistas consultados pelo SQ Magazine também indicaram que modelos públicos podem reagir de forma diferente conforme o contexto.

Em abril, a Anthropic anunciou Claude Mythos, uma IA de alto poder que não foi disponibilizada amplamente, citando riscos de uso malicioso. A empresa criou o Project Glasswing, com participação de Apple, Google e AWS, para desenvolver mecanismos de proteção contra ataques envolvendo IA avançada.