A General Reasoning divulgou os resultados do KellyBench, um teste que envolve oito modelos de intelig\u00eancia artificial aplicados a apostas esportivas. O experimento simulou uma temporada completa da Premier League inglesa 2023-24, com saldo virtual para cada IA. O objetivo era avaliar se a IA consegue gerar lucro ao apostar com base em aprendizado de m\u00e1quina. Todos os modelos encerraram a temporada no negativo.<\/p>\n
Entre os sistemas avaliados estavam Claude, Grok, Gemini e GPT-5.4. O laborat\u00f3rio utilizou o crit\u00e9rio de Kelly para orientar as apostas, mas nenhum modelo conseguiu converter a vantagem estat\u00edstica em ganhos reais. Em alguns casos, houve fal\u00eancia total ao longo das tr\u00eas rodadas de teste.<\/p>\n
O KellyBench \u00e9 um teste din\u00e2mico, com 120 dias de jogos, dados em constante mudan\u00e7a e um mercado que evolui ao longo do tempo. Os pesquisadores apontam que a dificuldade est\u00e1 na passagem da teoria para a pr\u00e1tica, especialmente na implementa\u00e7\u00e3o de decis\u00f5es sequenciais sob condi\u00e7\u00f5es mut\u00e1veis. A lacuna entre conhecimento e a\u00e7\u00e3o ficou evidente.<\/p>\n
O Grok 4.20 falhou em todas as tr\u00eas fases, encerrando a temporada com fal\u00eancia em uma delas. O Gemini Flash desistiu em duas das tr\u00eas rodadas ap\u00f3s uma aposta de alta magnitude, mesmo com uma vantagem inicial de vit\u00f3rias. O Claude Opus 4.6, considerado o melhor entre os avaliados, registrou perdas m\u00e9dias de 11% e manteve uma postura mais contida, por\u00e9m sem reverter o saldo.<\/p>\n
Entre os demais participantes, o Dixon-Coles, modelo hist\u00f3rico dos anos 1990, surpreendeu e terminou \u00e0 frente de parte dos modelos atuais, mesmo com dados limitados. Os especialistas destacam que ele representa uma linha de base desatualizada que n\u00e3o incorpora plenamente dados modernos nem a n\u00e3o estacionariedade dos mercados. O estudo tamb\u00e9m cita que alguns modelos n\u00e3o conseguiram superar esse baseline, mesmo apresentando estrat\u00e9gias sofisticadas.<\/p>\n
O GPT-5.4 manteve uma postura metodol\u00f3gica: gerou v\u00e1rias itera\u00e7\u00f5es de modelos, calculou a perda logar\u00edtmica e concluiu pela aus\u00eancia de vantagem suficiente para apostar de forma relevante. Em seguida, operou com apostas m\u00ednimas para conservar o capital durante a temporada.<\/p>\n
A pesquisa aponta que, apesar das estrat\u00e9gias articuladas, as falhas ocorreram na execu\u00e7\u00e3o pr\u00e1tica: nem todo c\u00f3digo implementava fielmente o planejamento, e havia diverg\u00eancia entre a inten\u00e7\u00e3o e a a\u00e7\u00e3o. Um exemplo citado envolve uma aloca\u00e7\u00e3o de Kelly que n\u00e3o foi executada corretamente, devido a um bug de formata\u00e7\u00e3o que gerou ordens incorretas repetidas.<\/p>\n
Especialistas ressaltam ainda que modelos de IA costumam enfrentar mercados com alta mutabilidade, onde decis\u00f5es precisam ser tomadas em sequ\u00eancia e com monitoramento cont\u00ednuo das consequ\u00eancias. A equipe de pesquisa conclui que n\u00e3o \u00e9 uma falha do mercado ser improv\u00e1vel para IA, mas a dificuldade est\u00e1 em traduzir o conhecimento em a\u00e7\u00f5es consistentes ao longo de longos per\u00edodos.<\/p>\n
O estudo utilizou uma rubrica de sofistica\u00e7\u00e3o de 44 pontos, com especialistas de fundos quantitativos avaliando aspectos como desenvolvimento de recursos, dimensionamento de apostas, tratamento da n\u00e3o estacionariedade e a qualidade da execu\u00e7\u00e3o. O Claude Opus 4.6 obteve o melhor desempenho nesse crit\u00e9rio, mas ainda ficou longe de alcan\u00e7ar a totalidade dos pontos dispon\u00edveis.<\/p>\n","protected":false},"excerpt":{"rendered":"