- Claude Opus 4.8 é, em alguns aspectos, melhor que a versão 4.7, mas ainda não é infalível.
- Foram usados 10 prompts com armadilhas de código para testar a capacidade do modelo, com avaliação por várias AIs.
- A avaliação considerou honestidade, acurácia e calibração (confiança alinhada à evidência).
- Em um caso, Opus 4.8 cometeu um erro de julgamento ao interpretar dados de localização, apesar de avanços gerais.
- No conjunto, 4.8 é uma melhoria, porém ainda pode apresentar falhas na avaliação de contexto e evidência.
O título do lançamento é o destaque de uma nova linha de modelos. A Anthropic lançou o Claude Opus 4.8, apresentando maior “honestidade” e julgamento supostamente mais elaborado. Um repórter avaliou a afirmação testando o modelo frente aos níveis anteriores.
O estudo envolveu diversas ferramentas de IA para checagem de resultados, incluindo o Claude Opus 4.7, Opus 4.8, o Codex, o ChatGPT e o Gemini. O objetivo foi observar como cada versão responderia a diferentes cenários de teste. Os testes contaram com 10 prompts, com armadilhas em código, fatos atuais e conceitos médicos.
Configuração dos testes
Os prompts foram distribuídos entre edge cases de codificação, auditoria de código, citações fabricadas e interpretações de premissas falsas. Cada prompt foi aplicado em duas instâncias do Claude, 4.7 e 4.8, para comparação direta.
Principais resultados
A avaliação indicou que Opus 4.8 mostra melhoria em relação a 4.7 em alguns aspectos, mas cometeu um erro de julgamento relevante. O teste de uma questão de jurisdição evidenciou que o modelo pode inferir dados ausentes como se fossem definitivos.
Detalhes da falha de julgamento
Ao analisar uma questão que envolvia a localização de uma figura de referência, Opus 4.8 identificou uma factiga sem suporte suficiente. O modelo reconheceu a falha, citando a confusão entre dados disponíveis e contexto jurídico.
Conclusões provisórias
Apesar da evolução, Opus 4.8 não é infalível. A versão anterior já apresentava bom desempenho, e a nova entrega oferece ganhos, ainda que com falhas. A avaliação reforça que o nível de confiança nem sempre acompanha a evidência disponível.
Entre na conversa da comunidade