- startup ThroughLine, da Nova Zelândia, testa um sistema que identifica sinais de extremismo violento em usuários do ChatGPT e os encaminha para apoio especializado.
- a parceria envolve a OpenAI, proprietária do ChatGPT, com a startup para direcionar pessoas em crise a serviços de ajuda disponíveis em cento e oitenta países.
- o modelo pretende mesclar atendimento humano e chatbots, conectando usuários a suporte próximo de onde estão.
- a rede da ThroughLine já oferece seiscentas linhas de apoio em cento e oitenta países e funciona como ponte para serviços presenciais de saúde mental.
- o objetivo é ampliar a cobertura de segurança digital, incluindo prevenção ao extremismo violento, com etapas de acompanhamento ainda em definição.
O que acontece: uma startup da Nova Zelândia testa um sistema que identifica sinais de extremismo em usuários do ChatGPT e os encaminha para apoio especializado. A iniciativa envolve atendimento humano combinado a chatbots para redirecionar pessoas em risco a 1.600 serviços de ajuda em 180 países. O projeto está em fase de teste.
Quem está envolvido: a ThroughLine, empresa neozelandesa contratada pela OpenAI, responsável pelo desenvolvimento, com participação de plataformas como Anthropic e Google. O fundador é Elliot Taylor, ex-assistente social, que conduz as operações. A colaboração com o The Christchurch Call está em negociação para orientação.
Quando e onde: os testes acontecem na Nova Zelândia, com a OpenAI confirmando a parceria, mas sem divulgação de datas específicas de lançamento. O foco é ampliar o uso de IA responsável em ambientes globais de plataformas de IA, inclusive no contexto de moderação de conteúdo.
Por quê: a iniciativa busca reduzir riscos de violência ao detectar sinais de crise, automutilação, violência doméstica ou transtornos alimentares. A proposta é combinar IA com intervenção humana para oferecer suporte próximo ao usuário em sofrimento.
Como funciona: a ferramenta detecta sinais de extremismo e, via ThroughLine, encaminha o usuário a serviços disponíveis operados por pessoas no local. Segundo Taylor, o modelo híbrido não usará dados de treinamento de modelos de linguagem genéricos, mas sim dados de especialistas.
Mudanças e perspectivas: a equipe analisa ampliar o serviço para prevenção ao extremismo violento. Em relação a políticas de segurança, ainda não há prazo definido para implementação completa. A iniciativa avalia, entre itens, possíveis alertas a autoridades sobre usuários em risco.
Contexto técnico: especialistas destacam que o problema envolve tanto o conteúdo quanto a dinâmica das interações. A moderação reforçada pode levar simpatizantes a buscar alternativas menos regulamentadas, conforme estudo citado pela equipe.
Observações finais do projeto: medidas de acompanhamento e diretrizes para encaminhamentos ainda estão em estudo, com foco em evitar desencadear comportamentos mais agressivos. A ThroughLine pretende oferecer suporte contínuo sem expor os usuários a riscos adicionais.
Entre na conversa da comunidade