O estudo conduzido pelo MIT Center for Constructive Communication (CCC) aponta que os principais modelos de linguagem podem fornecer informações menos precisas a usuários com menor proficiência em inglês, educação formal mais baixa e origem fora dos Estados Unidos. Os pesquisadores analisaram respostas de modelos como GPT-4, Claude 3 Opus e Llama 3, em situações que simulam usuários com diferentes perfis.
Os resultados mostram quedas de exatidão em todas as combinações testadas e maior incidência de recusas a responder. Em alguns casos, as respostas de tom condescendente ou patronizante foram observadas entre usuários com menor escolaridade. A publicação foi apresentada em janeiro na conferência AAAI.
Metodologia e dados
Para avaliar desempenho, os pesquisadores utilizaram os conjuntos TruthfulQA e SciQ. Questionários foram acompanhados de breves biografias de usuários, variando educação, proficiência em inglês e país de origem. Ao longo de todos os modelos e conjuntos, quedas de acurácia surgiram com menos escolaridade e com inglês não nativo.
A variação de país de origem revelou diferenças entre os modelos. Claude 3 Opus, por exemplo, apresentou desempenho significativamente inferior para usuários originários do Irã, mesmo com níveis equivalentes de educação.
Recusas e linguagem
O estudo constatou que Claude 3 Opus recusou perguntas em cerca de 11% dos casos de usuários menos educados e não nativos, frente a 3,6% no grupo de controle. Ao analisar recusas, verificou-se uso de tom depreciativo em 43,7% das interações com esse grupo.
Alguns temas sensíveis receberam restrições específicas para usuários menos educados do Irã ou da Rússia, como questões sobre energia nuclear, anatomia e eventos históricos, ainda que as mesmas perguntas tenham sido respondidas para outros perfis.
Implicações
Os pesquisadores destacam que o viés pode se acumular quando modelos são usados em larga escala, contribuindo para desinformação ou evasão de conteúdo para certos grupos. A personalização, como recursos de memória em alguns sistemas, pode acentuar desigualdades existentes.
Conclui-se que, apesar do potencial de democratizar o acesso à informação, os modelos precisam mitigar vieses e comportamentos prejudiciais a todos os usuários. O estudo ressalta a importância de avaliações contínuas para evitar impactos negativos em comunidades marginalizadas.
Entre na conversa da comunidade