O estudo conduzido pelo MIT Center for Constructive Communication (CCC) aponta que os principais modelos de linguagem podem fornecer informa\u00e7\u00f5es menos precisas a usu\u00e1rios com menor profici\u00eancia em ingl\u00eas, educa\u00e7\u00e3o formal mais baixa e origem fora dos Estados Unidos. Os pesquisadores analisaram respostas de modelos como GPT-4, Claude 3 Opus e Llama 3, em situa\u00e7\u00f5es que simulam usu\u00e1rios com diferentes perfis.<\/p>\n
Os resultados mostram quedas de exatid\u00e3o em todas as combina\u00e7\u00f5es testadas e maior incid\u00eancia de recusas a responder. Em alguns casos, as respostas de tom condescendente ou patronizante foram observadas entre usu\u00e1rios com menor escolaridade. A publica\u00e7\u00e3o foi apresentada em janeiro na confer\u00eancia AAAI.<\/p>\n
Para avaliar desempenho, os pesquisadores utilizaram os conjuntos TruthfulQA e SciQ. Question\u00e1rios foram acompanhados de breves biografias de usu\u00e1rios, variando educa\u00e7\u00e3o, profici\u00eancia em ingl\u00eas e pa\u00eds de origem. Ao longo de todos os modelos e conjuntos, quedas de acur\u00e1cia surgiram com menos escolaridade e com ingl\u00eas n\u00e3o nativo.<\/p>\n
A varia\u00e7\u00e3o de pa\u00eds de origem revelou diferen\u00e7as entre os modelos. Claude 3 Opus, por exemplo, apresentou desempenho significativamente inferior para usu\u00e1rios origin\u00e1rios do Ir\u00e3, mesmo com n\u00edveis equivalentes de educa\u00e7\u00e3o.<\/p>\n
O estudo constatou que Claude 3 Opus recusou perguntas em cerca de 11% dos casos de usu\u00e1rios menos educados e n\u00e3o nativos, frente a 3,6% no grupo de controle. Ao analisar recusas, verificou-se uso de tom depreciativo em 43,7% das intera\u00e7\u00f5es com esse grupo.<\/p>\n
Alguns temas sens\u00edveis receberam restri\u00e7\u00f5es espec\u00edficas para usu\u00e1rios menos educados do Ir\u00e3 ou da R\u00fassia, como quest\u00f5es sobre energia nuclear, anatomia e eventos hist\u00f3ricos, ainda que as mesmas perguntas tenham sido respondidas para outros perfis.<\/p>\n
Os pesquisadores destacam que o vi\u00e9s pode se acumular quando modelos s\u00e3o usados em larga escala, contribuindo para desinforma\u00e7\u00e3o ou evas\u00e3o de conte\u00fado para certos grupos. A personaliza\u00e7\u00e3o, como recursos de mem\u00f3ria em alguns sistemas, pode acentuar desigualdades existentes.<\/p>\n
Conclui-se que, apesar do potencial de democratizar o acesso \u00e0 informa\u00e7\u00e3o, os modelos precisam mitigar vieses e comportamentos prejudiciais a todos os usu\u00e1rios. O estudo ressalta a import\u00e2ncia de avalia\u00e7\u00f5es cont\u00ednuas para evitar impactos negativos em comunidades marginalizadas.<\/p>\n","protected":false},"excerpt":{"rendered":"