O título do lançamento é o destaque de uma nova linha de modelos. A Anthropic lançou o Claude Opus 4.8, apresentando maior “honestidade” e julgamento supostamente mais elaborado. Um repórter avaliou a afirmação testando o modelo frente aos níveis anteriores.
O estudo envolveu diversas ferramentas de IA para checagem de resultados, incluindo o Claude Opus 4.7, Opus 4.8, o Codex, o ChatGPT e o Gemini. O objetivo foi observar como cada versão responderia a diferentes cenários de teste. Os testes contaram com 10 prompts, com armadilhas em código, fatos atuais e conceitos médicos.
Configuração dos testes
Os prompts foram distribuídos entre edge cases de codificação, auditoria de código, citações fabricadas e interpretações de premissas falsas. Cada prompt foi aplicado em duas instâncias do Claude, 4.7 e 4.8, para comparação direta.
Principais resultados
A avaliação indicou que Opus 4.8 mostra melhoria em relação a 4.7 em alguns aspectos, mas cometeu um erro de julgamento relevante. O teste de uma questão de jurisdição evidenciou que o modelo pode inferir dados ausentes como se fossem definitivos.
Detalhes da falha de julgamento
Ao analisar uma questão que envolvia a localização de uma figura de referência, Opus 4.8 identificou uma factiga sem suporte suficiente. O modelo reconheceu a falha, citando a confusão entre dados disponíveis e contexto jurídico.
Conclusões provisórias
Apesar da evolução, Opus 4.8 não é infalível. A versão anterior já apresentava bom desempenho, e a nova entrega oferece ganhos, ainda que com falhas. A avaliação reforça que o nível de confiança nem sempre acompanha a evidência disponível.
Entre na conversa da comunidade