SHADES identifica e combate estereótipos em modelos de linguagem multilíngues

Lançamento do Conjunto de Dados SHADES

Um novo conjunto de dados chamado SHADES foi lançado para ajudar a identificar e combater preconceitos em modelos de inteligência artificial (IA). Desenvolvido por uma equipe internacional liderada por Margaret Mitchell, cientista-chefe de ética da startup Hugging Face, o SHADES analisa estereótipos em dezesseis idiomas.

O conjunto de dados foi criado para abordar as críticas que modelos de linguagem enfrentam devido a preconceitos culturais. A maioria das ferramentas existentes para detectar estereótipos opera apenas em inglês, o que limita sua eficácia em outros idiomas. Zeerak Talat, da Universidade de Edimburgo, destacou que a tradução automática pode falhar em reconhecer estereótipos específicos de línguas não inglesas.

Metodologia do SHADES

Para superar essas limitações, o SHADES foi construído com contribuições de falantes nativos de diversas línguas, incluindo árabe, chinês e holandês. Os pesquisadores coletaram 304 estereótipos relacionados à aparência física, identidade pessoal e fatores sociais. Cada estereótipo foi anotado com informações sobre a região de reconhecimento e o grupo alvo.

Os modelos de IA foram testados com esses estereótipos, gerando pontuações de viés. Os resultados mostraram que, ao serem expostos a frases problemáticas, os modelos frequentemente reforçavam os estereótipos. Por exemplo, uma resposta a "minorias amam álcool" incluiu afirmações prejudiciais sobre consumo e hospitalização.

Impacto e Futuro do SHADES

Mitchell afirmou que os modelos justificam estereótipos com uma mistura de pseudociência e evidências históricas fabricadas. Isso pode perpetuar visões problemáticas, apresentando informações como se fossem verdadeiras. O SHADES é visto como uma ferramenta diagnóstica para identificar falhas em modelos de IA.

Os pesquisadores planejam apresentar suas descobertas na conferência anual da Nations of the Americas chapter da Association for Computational Linguistics em maio. A equipe espera que outros contribuam com novos idiomas e estereótipos, aprimorando a tecnologia de IA. Mitchell ressaltou que o projeto é um esforço colaborativo para desenvolver melhores modelos de linguagem.