O pesquisador de seguran\u00e7a Niels Provos lan\u00e7ou um novo projeto de c\u00f3digo aberto chamado IronCurtain, destinado a impor controle a assistentes de IA. A ideia \u00e9 evitar que agentes digitais atuem de forma desviante, invertendo a vida digital dos usu\u00e1rios. O prot\u00f3tipo funciona em m\u00e1quina virtual isolada e depende de pol\u00edticas escritas pelo dono para ditar o que pode ser feito.<\/p>\n
Ao contr\u00e1rio de agentes que interagem diretamente com sistemas e contas, IronCurtain mede as a\u00e7\u00f5es por meio de uma pol\u00edtica. O propriet\u00e1rio redige a regra em linguagem comum, que \u00e9 convertida em pol\u00edtica de seguran\u00e7a por meio de um processo com uso de grande modelo de linguagem. O objetivo \u00e9 criar limites previs\u00edveis.<\/p>\n
A abordagem pretende conter a variabilidade de comportamento dos modelos de linguagem, que costumam ser probabil\u00edsticos. Assim, a pol\u00edtica resulta em linhas vermelhas determin\u00edsticas para o agente, dificultando a\u00e7\u00f5es n\u00e3o autorizadas. O sistema tamb\u00e9m mant\u00e9m um log de auditoria das decis\u00f5es ao longo do tempo.<\/p>\n
IronCurtain traduz instru\u00e7\u00f5es simples em pol\u00edticas execut\u00e1veis que mediadores entre o agente e o servidor de protocolo de contexto do modelo. Dessa forma, plataformas de servi\u00e7o como provedores de email n\u00e3o oferecem esse n\u00edvel de controle, j\u00e1 que o cen\u00e1rio envolve humanos e IA usando uma \u00fanica conta.<\/p>\n
Provos afirma que o projeto pode evoluir com a experi\u00eancia, ajustando a constitui\u00e7\u00e3o do usu\u00e1rio conforme surgem casos-limite. O prot\u00f3tipo \u00e9 independente de modelo e pode ser usado com qualquer LLM, mantendo registro de decis\u00f5es para auditoria.<\/p>\n
Dino Dai Zovi, pesquisador de ciberseguran\u00e7a, participa das primeiras vers\u00f5es de IronCurtain. Ele destaca que muitos sistemas atuais exigem permiss\u00f5es do usu\u00e1rio para cada a\u00e7\u00e3o, o que pode levar ao desgaste e permiss\u00f5es insuficientes. O conceito do projeto \u00e9 limitar capacidades sens\u00edveis, como excluir arquivos, ao alcance do LLM.<\/p>\n
Dai Zovi sustenta que restri\u00e7\u00f5es claras, mesmo que r\u00edgidas, s\u00e3o necess\u00e1rias para aumentar a autonomia de IA de forma segura. Segundo ele, estruturar o controle \u00e9 essencial para permitir maior velocidade de atua\u00e7\u00e3o sem comprometer a seguran\u00e7a do usu\u00e1rio.<\/p>\n","protected":false},"excerpt":{"rendered":"