CNJ aprova diretrizes para combater comandos ocultos de IA em petições

O Conselho Nacional de Justiça (CNJ) aprovou uma orientação técnica para magistrados combater a prática de inteligência artificial conhecida como prompt injection. A decisão ocorreu na sessão desta terça-feira (9). O objetivo é fortalecer a segurança da informação diante de usos indevidos de IA em petições.

A nota técnica será enviada a todos os tribunais e aos órgãos conectados ao CNJ. O relator, conselheiro Rodrigo Badaró, afirmou que a segurança adversarial de sistemas de IA deve ser tratada como parte essencial da proteção de dados e da confiança na Justiça. A orientação não impede futuras normas.

—

O que é prompt injection

Para a IA, qualquer trecho de texto pode ser lido, independentemente da cor ou do layout do documento. Advogados vêm inserindo instruções ocultas para orientar a IA a agir em favor de uma das partes, mesmo sem transparência no conteúdo.

Um modelo utilizado em petições pode, por exemplo, pedir que a IA contra-argumente superficialmente ou não impugne documentos anexados. Esses comandos são inseridos de forma imperceptível e podem distorcer a atuação da ferramenta.

Consequências e casos

Casos já identificados resultaram em punições. Em Pará, uma advogada teve registro suspenso e multa por indícios de comando oculto semelhante. Em Minas Gerais, o autor da ação foi multado em mais de R$ 8 mil após a inserção de ordens ocultas para dificultar resumos automáticos.

No estado de São Paulo, o TJSP detectou a prática em processos da comarca de Campinas. Um advogado usava um comando repetido que levou à aplicação de multa de 10 salários mínimos e envio do caso à OAB.

O que diz a nota técnica

O documento avalia que o prompt injection não é apenas risco teórico, mas uma ameaça prática aos modelos de linguagem de grande porte. A manipulação pode distorcer resumos, omitir argumentos relevantes ou favorecer uma tese específica.

A nota ressalta a necessidade de governança de IA, com integração entre segurança da informação e proteção de dados, para preservar a integridade processual e a confiabilidade institucional. O tema é visto como interdisciplinar.

Medidas propostas

Entre as ações propostas estão: diagnóstico de vulnerabilidades com a plataforma utilizada, protocolos de testes em documentos e imagens, e exigência de mecanismos de segurança em licitações de ferramentas de IA para tribunais.

A orientação também sugere incluir o prompt injection no rol de eventos do Protocolo de Prevenção a Incidentes Cibernéticos do Judiciário, emissão de certificados nos autos quando comandos ocultos forem detectados e a capacitação de magistrados e servidores para identificar manipulações por IA.