O tema em pauta envolve técnicas para sabotar sistemas de inteligência artificial. Duas advogadas tentaram manobrar o modelo usado pelo Tribunal Regional do Trabalho da 8ª Região, no Pará, por meio de injeções de prompt. O episódio expõe vulnerabilidades potenciais na IA aplicada a processos judiciais.
Comandos ocultos inseridos em documentos comuns teriam sido lidos pela IA e executados, segundo relatos agregados pela imprensa. A prática é denominada injeção de prompt e, conforme especialistas, pode comprometer a confiabilidade de decisões e o funcionamento de plataformas digitais no Judiciário.
Especialistas destacam que o caso acende alerta sobre a necessidade de filtros técnicos, auditorias e verificação humana. A discussão envolve limites éticos, dependência da ferramenta e o papel de usuários na checagem de resultados gerados pela IA.
O que são injeções de prompt e por que importam
Profissional de tecnologia ouvidado por trilhas de pesquisa afirmou que o problema pode surgir mesmo com leitura cuidadosa de código. Hacks mais sofisticados podem ficar ocultos em camadas de software, exigindo análises técnicas mais profundas.
O pesquisador enfatizou que nem todos os casos podem ser resolvidos apenas com inspeção direta. Verificações contra alucinações e falhas de profundidade nas análises da IA também são cruciais para evitar decisões indevidas.
Segundo ele, também cabe às empresas desenvolvedoras adotarem medidas preventivas. Instrumentos e políticas de segurança podem reduzir riscos de uso indevido e melhorar a confiabilidade das ferramentas usadas no setor público.
Entre na conversa da comunidade