O Conselho Nacional de Justiça (CNJ) aprovou uma nota técnica para orientar tribunais sobre riscos de manipulação de sistemas de inteligência artificial usados no Judiciário. O documento foca em prevenir, detectar e responder a ataques de prompt injection, que envolvem comandos ocultos que podem interferir no funcionamento das ferramentas processuais.
A nota foi instaurada de ofício e aprovada pelo Comitê Nacional de Inteligência Artificial do Poder Judiciário. O objetivo é enfrentar vulnerabilidades associadas a tentativas de manipulação de IA ao analisar documentos, metadados e conteúdos de processos.
Segundo o conselheiro relator Rodrigo Badaró, a expansão do uso de IA nos tribunais elevou a relevância do tema. Documentos aparentemente comuns podem esconder instruções voltadas ao sistema de processamento, não ao leitor humano.
Em petições, metadados ou arquivos digitais, conteúdos podem agir como vetores adversariais. Textos invisíveis, metadados contaminados, bases de recuperação envenenadas e comandos em links foram citados como exemplos de risco.
Casos recentes envolvendo o tema também são mencionados, incluindo episódios no TRT da 8ª Região com o sistema Galileu e situações observadas pelo STJ. Tais ocorrências reforçam a necessidade de controles.
Medidas propostas
A nota orienta práticas para evitar, detectar e responder a incidentes, sem dificultar a inovação tecnológica. A governança humana deve estar apoiada por mecanismos de identificação, isolamento e documentação de tentativas de interferência.
Documentos processuais, anexos, metadados e conteúdos extraídos devem ser tratados como dados potencialmente não confiáveis. São sugeridos ingestão segura, segregação de conteúdos suspeitos e rastreabilidade de operações.
Outros pilares incluem filtragem de saídas, registros auditáveis e capacitação de magistrados e servidores. Protocolos de resposta a incidentes devem ficar estruturados para rápida atuação.
O CNJ ainda orienta que sistemas de sumarização, classificação e pesquisa assistida não apresentem respostas que pareçam decisões judiciais. A ideia é evitar confusão entre IA e atos jurisdicionais.
Ao final, o plenário aprovou a nota técnica e determinou ampla divulgação aos tribunais. O documento segue para adoção de providências administrativas pelos órgãos técnicos competentes.
Processo relacionado: 0004183-33.2026.2.00.0000. A decisão completa também foi publicada pelos canais oficiais do CNJ.
Entre na conversa da comunidade