- O CNJ aprovou nota técnica para orientar tribunais sobre prevenção, detecção e resposta a manipulações de sistemas de inteligência artificial no Judiciário, com foco em ataques de prompt injection.
- O objetivo é proteger documentos processuais, anexos, metadados e textos extraídos de documentos digitalizados, que podem ser usados para interferir no funcionamento das ferramentas de IA.
- O relator, conselheiro Rodrigo Badaró, alertou que conteúdos aparentemente comuns podem ocultar instruções direcionadas ao sistema, citando exemplos como textos invisíveis em petições e metadados adversariais.
- A nota recomenda tratar dados processuais como potencialmente não confiáveis e estabelece medidas de ingestão segura, segregação de conteúdos suspeitos, rastreabilidade, registros auditáveis e protocolos de resposta a incidentes, além de capacitar magistrados e servidores.
- O plenário aprovou a medida e determinou ampla divulgação aos tribunais, com envio às áreas técnicas competentes para adoção das providências administrativas.
O Conselho Nacional de Justiça (CNJ) aprovou uma nota técnica para orientar tribunais sobre riscos de manipulação de sistemas de inteligência artificial usados no Judiciário. O documento foca em prevenir, detectar e responder a ataques de prompt injection, que envolvem comandos ocultos que podem interferir no funcionamento das ferramentas processuais.
A nota foi instaurada de ofício e aprovada pelo Comitê Nacional de Inteligência Artificial do Poder Judiciário. O objetivo é enfrentar vulnerabilidades associadas a tentativas de manipulação de IA ao analisar documentos, metadados e conteúdos de processos.
Segundo o conselheiro relator Rodrigo Badaró, a expansão do uso de IA nos tribunais elevou a relevância do tema. Documentos aparentemente comuns podem esconder instruções voltadas ao sistema de processamento, não ao leitor humano.
Em petições, metadados ou arquivos digitais, conteúdos podem agir como vetores adversariais. Textos invisíveis, metadados contaminados, bases de recuperação envenenadas e comandos em links foram citados como exemplos de risco.
Casos recentes envolvendo o tema também são mencionados, incluindo episódios no TRT da 8ª Região com o sistema Galileu e situações observadas pelo STJ. Tais ocorrências reforçam a necessidade de controles.
Medidas propostas
A nota orienta práticas para evitar, detectar e responder a incidentes, sem dificultar a inovação tecnológica. A governança humana deve estar apoiada por mecanismos de identificação, isolamento e documentação de tentativas de interferência.
Documentos processuais, anexos, metadados e conteúdos extraídos devem ser tratados como dados potencialmente não confiáveis. São sugeridos ingestão segura, segregação de conteúdos suspeitos e rastreabilidade de operações.
Outros pilares incluem filtragem de saídas, registros auditáveis e capacitação de magistrados e servidores. Protocolos de resposta a incidentes devem ficar estruturados para rápida atuação.
O CNJ ainda orienta que sistemas de sumarização, classificação e pesquisa assistida não apresentem respostas que pareçam decisões judiciais. A ideia é evitar confusão entre IA e atos jurisdicionais.
Ao final, o plenário aprovou a nota técnica e determinou ampla divulgação aos tribunais. O documento segue para adoção de providências administrativas pelos órgãos técnicos competentes.
Processo relacionado: 0004183-33.2026.2.00.0000. A decisão completa também foi publicada pelos canais oficiais do CNJ.
Entre na conversa da comunidade