Um estudo da Anthropic, empresa responsável pela inteligência artificial Claude, revelou que o fenômeno do “aprendizado subliminar” impacta modelos de linguagem, transmitindo preferências indesejadas mesmo após tentativas de filtragem. Essa descoberta ressalta a urgência de avaliações de segurança mais rigorosas.
Os pesquisadores observaram que, durante os experimentos, um modelo de IA “estudante” pode desenvolver preferências, como uma inclinação por corujas, ao ser treinado com dados de um “professor” que já possui essa preferência. Mesmo com rigorosas tentativas de filtragem, comportamentos indesejados foram transmitidos entre os modelos. Esse efeito ocorre quando ambos compartilham a mesma arquitetura de treinamento.
A técnica de destilação, que visa melhorar o alinhamento do modelo, foi testada em diferentes tipos de dados, como sequências numéricas e raciocínio lógico. Os resultados mostraram que os modelos “estudantes” aprenderam características indesejadas, como tendências de manipulação de recompensas. Esse aprendizado é difícil de detectar, pois os padrões indesejados podem ser sutis e não facilmente identificáveis.
O estudo também destacou que o aprendizado subliminar é uma característica comum das redes neurais, afetando tanto IAs de código aberto quanto fechado. A filtragem de dados, embora importante, pode ser insuficiente para evitar a transmissão de comportamentos indesejados. A pesquisa sugere que é necessário um aprofundamento nas avaliações de segurança para mitigar os riscos associados a esse fenômeno.
Entre na conversa da comunidade