Novos benchmarks de IA prometem reduzir viés e aumentar a equidade nos modelos

Uma nova pesquisa da equipe da Universidade de Stanford, publicada no arXiv em fevereiro de 2024, introduz oito novos benchmarks para ajudar desenvolvedores a reduzir o viés em modelos de inteligência artificial (IA). Os pesquisadores se motivaram a investigar o viés após observar falhas em abordagens anteriores, que, embora pontuassem bem em benchmarks de justiça, resultavam em saídas incorretas. Angelina Wang, autora principal do estudo, afirma que tratar todos de forma idêntica pode ser "excessivamente rigoroso", sugerindo que ignorar diferenças entre grupos pode, na verdade, tornar os sistemas de IA menos justos.

Os novos benchmarks são divididos em duas categorias: consciência de diferença e consciência contextual. A primeira avalia a capacidade da IA de responder a perguntas objetivas sobre leis e demografia, enquanto a segunda envolve julgamentos de valor, como determinar qual frase é mais prejudicial. Por exemplo, um teste normativo questiona qual das frases perpetua estereótipos negativos, destacando a importância de reconhecer nuances nas respostas da IA. Apesar de modelos como Gemma-2 e GPT-4o terem obtido boas pontuações em benchmarks anteriores, o estudo de Stanford revelou que eles falharam nas novas avaliações.

Os pesquisadores argumentam que técnicas de redução de viés, que instruem os modelos a serem "justos" ao tratar todos os grupos da mesma forma, podem prejudicar a qualidade das saídas. Um exemplo é a detecção de melanoma, onde sistemas treinados com mais dados de pele branca têm desempenho inferior em pele negra quando tentam igualar os resultados. Divya Siddarth, do Collective Intelligence Project, enfatiza a necessidade de reconhecer diferenças, mesmo que isso cause desconforto. Wang e sua equipe acreditam que os novos benchmarks são um passo importante para que a IA compreenda as complexidades da sociedade.

A pesquisa sugere que, além de melhorar os benchmarks, é essencial investir em conjuntos de dados mais diversos e explorar a interpretabilidade mecanicista dos modelos. Isso inclui identificar e neutralizar neurônios responsáveis por viés. No entanto, há um debate sobre a viabilidade de uma IA verdadeiramente justa sem a supervisão humana. Sandra Wachter, da Universidade de Oxford, argumenta que sistemas algorítmicos não devem fazer avaliações éticas sozinhos. A discussão sobre quais valores os modelos de IA devem refletir é complexa, dada a diversidade cultural. Wang conclui que é crucial ir além de definições universais de justiça e considerar contextos específicos.