Nova metodologia avalia a eficácia da classificação de texto por sistemas de IA

Pesquisadores do MIT desenvolveram um software inovador que aprimora a precisão de algoritmos de classificação de texto, utilizados em diversas áreas, como avaliações de filmes e chatbots. O novo sistema, liderado por Lei Xu, utiliza exemplos adversariais e uma métrica inédita para medir a robustez contra ataques de palavras.

O software, que será disponibilizado gratuitamente, permite que empresas testem e melhorem seus classificadores. Esses algoritmos são essenciais para garantir que respostas de chatbots, por exemplo, não sejam interpretadas como conselhos financeiros, evitando assim possíveis responsabilidades legais. A equipe do MIT identificou que pequenas alterações em palavras podem enganar esses sistemas, levando a classificações incorretas.

A pesquisa revelou que apenas 0,1% das 30 mil palavras no vocabulário do sistema podem causar quase metade das reversões de classificação. Isso permite que os testes de precisão se concentrem em um número reduzido de palavras, facilitando a identificação de vulnerabilidades. O novo método de avaliação, denominado p, mede a resistência dos classificadores a ataques de uma única palavra.

Além disso, a equipe introduziu duas ferramentas: SP-Attack, que gera sentenças adversariais para testar classificadores, e SP-Defense, que visa melhorar a robustez dos modelos. Em testes, o novo sistema reduziu a taxa de sucesso de ataques adversariais de 66% para 33,7%, demonstrando sua eficácia. Os resultados foram publicados na revista Expert Systems em julho de 2023, destacando a importância de aprimorar a precisão desses algoritmos em contextos críticos, como informações médicas e financeiras.