Modelos de inteligência artificial, especialmente os de linguagem, têm sido criticados por conter preconceitos e estereótipos culturais. Para ajudar a resolver esse problema, foi criado um novo conjunto de dados chamado SHADES, que analisa estereótipos em 16 idiomas. Esse conjunto foi desenvolvido por uma equipe internacional liderada por Margaret Mitchell, da empresa Hugging Face. O SHADES permite identificar e combater preconceitos nas respostas de chatbots em várias línguas, algo que as ferramentas anteriores não conseguiam fazer adequadamente. Os pesquisadores testaram como os modelos de IA reagem a estereótipos, e descobriram que muitas vezes eles reforçam esses preconceitos em suas respostas. Por exemplo, um modelo respondeu a um estereótipo sobre minorias com uma afirmação problemática sobre o consumo de álcool. O conjunto de dados inclui 304 estereótipos relacionados à aparência, identidade e ocupações, e foi criado com a ajuda de falantes nativos de várias línguas. Os resultados serão apresentados em uma conferência em maio, e a equipe espera que outros contribuam com mais estereótipos e idiomas para melhorar os modelos de linguagem no futuro.
Lançamento do Conjunto de Dados SHADES
Um novo conjunto de dados chamado SHADES foi lançado para ajudar a identificar e combater preconceitos em modelos de inteligência artificial (IA). Desenvolvido por uma equipe internacional liderada por Margaret Mitchell, cientista-chefe de ética da startup Hugging Face, o SHADES analisa estereótipos em dezesseis idiomas.
O conjunto de dados foi criado para abordar as críticas que modelos de linguagem enfrentam devido a preconceitos culturais. A maioria das ferramentas existentes para detectar estereótipos opera apenas em inglês, o que limita sua eficácia em outros idiomas. Zeerak Talat, da Universidade de Edimburgo, destacou que a tradução automática pode falhar em reconhecer estereótipos específicos de línguas não inglesas.
Metodologia do SHADES
Para superar essas limitações, o SHADES foi construído com contribuições de falantes nativos de diversas línguas, incluindo árabe, chinês e holandês. Os pesquisadores coletaram 304 estereótipos relacionados à aparência física, identidade pessoal e fatores sociais. Cada estereótipo foi anotado com informações sobre a região de reconhecimento e o grupo alvo.
Os modelos de IA foram testados com esses estereótipos, gerando pontuações de viés. Os resultados mostraram que, ao serem expostos a frases problemáticas, os modelos frequentemente reforçavam os estereótipos. Por exemplo, uma resposta a “minorias amam álcool” incluiu afirmações prejudiciais sobre consumo e hospitalização.
Impacto e Futuro do SHADES
Mitchell afirmou que os modelos justificam estereótipos com uma mistura de pseudociência e evidências históricas fabricadas. Isso pode perpetuar visões problemáticas, apresentando informações como se fossem verdadeiras. O SHADES é visto como uma ferramenta diagnóstica para identificar falhas em modelos de IA.
Os pesquisadores planejam apresentar suas descobertas na conferência anual da Nations of the Americas chapter da Association for Computational Linguistics em maio. A equipe espera que outros contribuam com novos idiomas e estereótipos, aprimorando a tecnologia de IA. Mitchell ressaltou que o projeto é um esforço colaborativo para desenvolver melhores modelos de linguagem.
Entre na conversa da comunidade