OpenAI lança hub de avaliações de segurança para modelos de inteligência artificial

OpenAI anunciou, nesta quarta-feira, um novo “hub de avaliações de segurança”, uma página que divulgará publicamente os resultados de segurança de seus modelos de inteligência artificial. O objetivo é mostrar como esses modelos se comportam em testes relacionados a alucinações, jailbreaks e conteúdos prejudiciais, como “conteúdo odioso ou conselhos ilícitos.” A empresa afirmou que essas avaliações são parte de sua tomada de decisões sobre segurança e implementação de modelos.

O hub será atualizado periodicamente, refletindo um esforço contínuo da OpenAI para se comunicar de forma mais proativa sobre segurança. A empresa destacou que as informações apresentadas não representam todos os esforços de segurança, mas sim um “instantâneo” dos resultados. A iniciativa surge após críticas sobre a priorização de produtos em detrimento de pesquisas de segurança, conforme reportado pela CNBC.

Em meio a essa discussão, a OpenAI enfrentou controvérsias por não realizar certas avaliações de segurança na versão final de seu modelo o1. Johannes Heidecke, chefe de sistemas de segurança da OpenAI, explicou que as avaliações foram feitas em versões quase finais do modelo e que as variações menores não justificariam novos testes. No entanto, ele reconheceu que a empresa poderia ter explicado melhor essa diferença.

Iniciativas da Meta

A Meta também fez um anúncio relevante nesta quarta-feira. A equipe de Pesquisa Fundamental em Inteligência Artificial lançou uma nova pesquisa em colaboração com o Hospital da Fundação Rothschild e disponibilizou um conjunto de dados aberto para avançar na descoberta molecular. A Meta afirmou que, ao tornar sua pesquisa amplamente acessível, busca fomentar um ecossistema aberto que acelere o progresso e beneficie a sociedade, incluindo laboratórios de pesquisa nacionais.