Estudo: IA atende usuários vulneráveis com informações menos precisas

Estudo do MIT Center for Constructive Communication aponta que modelos avançados de IA respondem com menos precisão a usuários com inglês menos competente, menor escolaridade formal e origem fora dos Estados Unidos.
Testes com GPT‑4, Claude 3 Opus e Llama 3 usaram os conjuntos TruthfulQA e SciQ, acrescentando breves biografias de usuários para variar escolaridade, proficiência em inglês e país de origem.
As quedas de precisão ocorreram em todos os modelos, sendo mais acentuadas entre quem tem menos educação formal e não é falante nativo de inglês, especialmente na combinação dessas características.
Claude 3 Opus, por exemplo, apresentou recusa em perguntas para cerca de 11% dos casos de usuários com menor escolaridade, versus 3,6% no grupo de controle; em 43,7% das análises, houve linguagem condescendente ou patronizante.
Também houve recusa a temas específicos para usuários com menor escolaridade de Irã ou Rússia, como energia nuclear, anatomia e eventos históricos, mesmo quando respondia corretamente para outros usuários.

O estudo conduzido pelo MIT Center for Constructive Communication (CCC) aponta que os principais modelos de linguagem podem fornecer informações menos precisas a usuários com menor proficiência em inglês, educação formal mais baixa e origem fora dos Estados Unidos. Os pesquisadores analisaram respostas de modelos como GPT-4, Claude 3 Opus e Llama 3, em situações que simulam usuários com diferentes perfis.

Os resultados mostram quedas de exatidão em todas as combinações testadas e maior incidência de recusas a responder. Em alguns casos, as respostas de tom condescendente ou patronizante foram observadas entre usuários com menor escolaridade. A publicação foi apresentada em janeiro na conferência AAAI.

Metodologia e dados

Para avaliar desempenho, os pesquisadores utilizaram os conjuntos TruthfulQA e SciQ. Questionários foram acompanhados de breves biografias de usuários, variando educação, proficiência em inglês e país de origem. Ao longo de todos os modelos e conjuntos, quedas de acurácia surgiram com menos escolaridade e com inglês não nativo.

A variação de país de origem revelou diferenças entre os modelos. Claude 3 Opus, por exemplo, apresentou desempenho significativamente inferior para usuários originários do Irã, mesmo com níveis equivalentes de educação.

Recusas e linguagem

O estudo constatou que Claude 3 Opus recusou perguntas em cerca de 11% dos casos de usuários menos educados e não nativos, frente a 3,6% no grupo de controle. Ao analisar recusas, verificou-se uso de tom depreciativo em 43,7% das interações com esse grupo.

Alguns temas sensíveis receberam restrições específicas para usuários menos educados do Irã ou da Rússia, como questões sobre energia nuclear, anatomia e eventos históricos, ainda que as mesmas perguntas tenham sido respondidas para outros perfis.

Implicações

Os pesquisadores destacam que o viés pode se acumular quando modelos são usados em larga escala, contribuindo para desinformação ou evasão de conteúdo para certos grupos. A personalização, como recursos de memória em alguns sistemas, pode acentuar desigualdades existentes.

Conclui-se que, apesar do potencial de democratizar o acesso à informação, os modelos precisam mitigar vieses e comportamentos prejudiciais a todos os usuários. O estudo ressalta a importância de avaliações contínuas para evitar impactos negativos em comunidades marginalizadas.