O que são injeções de prompt e como podem sabotar modelos de IA

Injeções de prompt são comandos ocultos que podem sabotar sistemas de IA, inseridos em documentos aparentemente inofensivos.
O caso que chamou atenção envolveu duas advogadas que tentaram manipular o modelo utilizado pelo Tribunal Regional do Trabalho da 8ª Região, no Pará.
Comandos escritos em branco foram lidos e obedecidos pela IA, segundo o especialista João Victor Archegas.
O episódio levanta questões sobre a integridade do processo judicial e a dependência da IA na prática da advocacia, com debates sobre limites éticos.
O especialista aponta que é preciso identificar alucinações ou falhas na IA, e as empresas desenvolvedoras devem buscar maneiras de mitigar esses riscos.

O tema em pauta envolve técnicas para sabotar sistemas de inteligência artificial. Duas advogadas tentaram manobrar o modelo usado pelo Tribunal Regional do Trabalho da 8ª Região, no Pará, por meio de injeções de prompt. O episódio expõe vulnerabilidades potenciais na IA aplicada a processos judiciais.

Comandos ocultos inseridos em documentos comuns teriam sido lidos pela IA e executados, segundo relatos agregados pela imprensa. A prática é denominada injeção de prompt e, conforme especialistas, pode comprometer a confiabilidade de decisões e o funcionamento de plataformas digitais no Judiciário.

Especialistas destacam que o caso acende alerta sobre a necessidade de filtros técnicos, auditorias e verificação humana. A discussão envolve limites éticos, dependência da ferramenta e o papel de usuários na checagem de resultados gerados pela IA.

O que são injeções de prompt e por que importam

Profissional de tecnologia ouvidado por trilhas de pesquisa afirmou que o problema pode surgir mesmo com leitura cuidadosa de código. Hacks mais sofisticados podem ficar ocultos em camadas de software, exigindo análises técnicas mais profundas.

O pesquisador enfatizou que nem todos os casos podem ser resolvidos apenas com inspeção direta. Verificações contra alucinações e falhas de profundidade nas análises da IA também são cruciais para evitar decisões indevidas.

Segundo ele, também cabe às empresas desenvolvedoras adotarem medidas preventivas. Instrumentos e políticas de segurança podem reduzir riscos de uso indevido e melhorar a confiabilidade das ferramentas usadas no setor público.