OpenAI lançou um novo site chamado “hub de avaliações de segurança”, onde mostrará publicamente os resultados de segurança de seus modelos de inteligência artificial. Esse site vai informar como os modelos se saem em testes que verificam problemas como alucinações e conteúdos prejudiciais. A empresa disse que usará essas avaliações para ajudar nas decisões sobre a segurança e o uso dos modelos. Embora os resultados sejam atualizados regularmente, eles não refletem todos os esforços de segurança da empresa. A novidade surge após críticas sobre a prioridade das empresas de tecnologia em lançar produtos em vez de focar em pesquisas de segurança. OpenAI também enfrentou polêmica por não realizar algumas avaliações de segurança em sua versão final do modelo o1. Em resposta, um executivo da empresa afirmou que os testes foram feitos em versões quase finais do modelo e que mudanças menores não exigiriam novas avaliações. Enquanto isso, a Meta anunciou uma nova pesquisa em parceria com um hospital, visando facilitar a descoberta molecular e promover o acesso à pesquisa na área de inteligência artificial.
OpenAI anunciou, nesta quarta-feira, um novo “hub de avaliações de segurança”, uma página que divulgará publicamente os resultados de segurança de seus modelos de inteligência artificial. O objetivo é mostrar como esses modelos se comportam em testes relacionados a alucinações, jailbreaks e conteúdos prejudiciais, como “conteúdo odioso ou conselhos ilícitos.” A empresa afirmou que essas avaliações são parte de sua tomada de decisões sobre segurança e implementação de modelos.
O hub será atualizado periodicamente, refletindo um esforço contínuo da OpenAI para se comunicar de forma mais proativa sobre segurança. A empresa destacou que as informações apresentadas não representam todos os esforços de segurança, mas sim um “instantâneo” dos resultados. A iniciativa surge após críticas sobre a priorização de produtos em detrimento de pesquisas de segurança, conforme reportado pela CNBC.
Em meio a essa discussão, a OpenAI enfrentou controvérsias por não realizar certas avaliações de segurança na versão final de seu modelo o1. Johannes Heidecke, chefe de sistemas de segurança da OpenAI, explicou que as avaliações foram feitas em versões quase finais do modelo e que as variações menores não justificariam novos testes. No entanto, ele reconheceu que a empresa poderia ter explicado melhor essa diferença.
Iniciativas da Meta
A Meta também fez um anúncio relevante nesta quarta-feira. A equipe de Pesquisa Fundamental em Inteligência Artificial lançou uma nova pesquisa em colaboração com o Hospital da Fundação Rothschild e disponibilizou um conjunto de dados aberto para avançar na descoberta molecular. A Meta afirmou que, ao tornar sua pesquisa amplamente acessível, busca fomentar um ecossistema aberto que acelere o progresso e beneficie a sociedade, incluindo laboratórios de pesquisa nacionais.
Entre na conversa da comunidade