Supremo Tribunal de Justiça investiga manipulação criminosa de IA em processos

O STJ abriu inquérito para investigar manipulação criminosa de IA em 11 processos, com uso da plataforma Galileu.
Duas advogadas tentaram usar prompt injection para influenciar a IA em casos recentes; anteriormente, na Paraubeas, houve tentativa semelhante com multa de R$ 84 mil.
A prática ocorreu com a IA Galileu do Tribunal Regional do Trabalho da 4ª Região, e houve notificação ao juiz responsável pela análise automatizada.
O presidente do STJ, ministro Herman Benjamin, afirmou que o tribunal já aplica camadas de segurança e busca apurar responsabilidades administrativas e criminais.
Ao todo, pelo menos 11 processos foram identificados em estados como Mato Grosso do Sul, São Paulo, Minas Gerais e Distrito Federal, com denúncias também encaminhadas ao Conselho Nacional de Justiça.

O Superior Tribunal de Justiça (STJ) abriu um inquérito para apurar possível manipulação criminosa de inteligência artificial em 11 processos. A investigação surgiu após técnicos encontrarem documentos adulterados com a mesma técnica usada em outros casos. A finalidade seria fraudar o andamento processual.

A técnica é conhecida como injeção de comandos ou prompt injection. Em linhas gerais, usuários mal-intencionados tentam mudar o comportamento de IA apenas com linguagem, enviando instruções para induzir falhas no sistema.

A controvérsia ganhou repercussão após dois caso s no sistema Galileu, da Justiça do Trabalho do Rio Grande do Sul. Advogadas teriam tentado inserir comandos ocultos em peças para influenciar análises da IA em favor de uma das partes.

No episódio que abriu o inquérito, especialistas identificaram documentos com alterações feitas pela mesma técnica. A Presidência do STJ determinou a apuração para verificar ocorrência de fraude processual ou conduta irregular.

Advogadas envolvidas nos casos anteriores admitiram ter usado o prompt oculto para tentar alterar resultados, segundo informações de veículos da imprensa. Elas contestam as sanções e alegam atuação dentro de limites éticos, segundo berichten.

O STJ ressaltou que o sistema de IA Logos já possui mecanismos de proteção. A corte afirma haver pelo menos três camadas de segurança para impedir instruções maliciosas, com mapeamento de tentativas e responsabilização dos envolvidos.

Casos identificados apontam que a técnica já envolve processos criminais de Mato Grosso do Sul, São Paulo, Minas Gerais e Distrito Federal. Advogados notificaram o tribunal sobre as ocorrências e acionaram o CNJ para apuração.

Especialistas consultados destacam a dificuldade de impedir esse tipo de ataque em grandes modelos de linguagem. Mesmo com filtros, entradas mal-intencionadas podem escapar, exigindo monitoramento humano e controles de privilégios.