AI tools podem gerar erros graves em registros de trabalho social, mostra estudo
Ferramenta de transcrição usada por governos locais na Inglaterra e na Escócia apresentou falhas, incluindo afirmações falsas de ideação suicida e trechos sem sentido. Frente de trabalhadores da linha de frente descreve casos de “gibberish” e distorções em relatos.
O estudo de oito meses da Ada Lovelace Institute, divulgado ao Guardian, envolveu 17 conselhos. A pesquisa aponta que algumas mensagens geradas por IA podem representar de forma inadequada as experiências das pessoas sob cuidado.
Hallucinações, imprecisões e impactos
Relatos de assistentes sociais revelam que uma síntese criada por IA indicou ideação suicida, ainda que o cliente não tenha feito tal afirmação. Em outra situação, a IA tería citado fatos sem relação com a conversa, confundindo histórico familiar.
Imprecisões também aparecem em transcrições com sotaques regionais, com trechos que parecem “gibberish”. Um profissional comentou que o erro virou piada no escritório. Em alguns casos, o registro pode distorcer a percepção da situação.
A adoção de ferramentas como Magic Notes, disponível para custos que variam entre £1,50 e £5 por hora, já alcança diversas cidades, de Croydon a Redcar and Cleveland. A maioria dos trabalhadores entrevistados usa Magic Notes ou o Copilot da Microsoft.
Benefícios e riscos operacionais
A pesquisa aponta ganhos de tempo observáveis e maior foco nas relações com usuários de serviço. Em alguns casos, a IA ajudou a melhorar a qualidade das informações registradas.
Entretanto, surgem problemas quando a IA redige documentos com tom mais centrado na pessoa, incluindo trechos que não foram ditos, ou quando a ferramenta cruza o limite entre avaliação do profissional e avaliação da IA. Erros podem influenciar decisões sobre cuidados de crianças.
Profissionais denunciam que a verificação humana é insuficiente. Disciplinas já foram abertas na área pelo não checamento adequado de saídas de notetakers de IA, segundo a British Association of Social Workers (BASW). A BASW pede diretrizes claras para uso de IA na atuação.
O que dizem as empresas e autoridades
Especialistas destacam que o uso de IA envolve riscos novos, como vieses em resumos e falhas de transcrição. A Ada Lovelace ressalta que os riscos nem sempre são avaliados ou mitigados, deixando trabalhadores expostos.
Alguns representantes de fornecedores defendem que as ferramentas geram rascunhos e não registros finais. A Beam, gestora do Magic Notes, afirma que a primeira versão precisa ser revisada e que a IA pode aliviar a sobrecarga em serviços públicos.
A Índia e o Reino Unido buscaram respostas oficiais, com autoridades e grandes empresas sendo questionadas sobre padrões de uso, treinamento e verificação de IA em serviços sociais. O governo do Reino Unido e a Microsoft foram contactados para comentários.
Entre na conversa da comunidade