Custo de agentes de IA deve variar amplamente e ser imprevisível

Um estudo internacional aponta que o custo em tokens de agentes de IA varia muito entre modelos e tarefas, sem transparência de preço ou garantia de sucesso.
Testes com modelos de diferentes fornecedores mostram que agentes consomem farol de tokens muito maior do que conversas simples baseadas em prompts.
Mesmo o mesmo modelo pode ter custos diferentes em execuções distintas, com variação de até o dobro de tokens em diferentes tentativas.
A maior parte dos custos vem de tokens de entrada e de leituras em cache; o custo de saída é menor em comparação.
Os autores sugerem opções como estimativas de alto nível para alertas orçamentários, e destacam a necessidade de transparência de preços e garantias de conclusão para evitar surpresas financeiras.

O estudo mostra custos de uso de agentes de IA como altamente variáveis. Pesquisadores da Universidade de Michigan, em colaboração com Stanford, MIT e outras instituições, analisaram o consumo de tokens em tarefas de codificação. Publicação no arXiv.

O principal achado é que agentes consomem muito mais tokens que chats simples e constantes variações ocorrem entre modelos e execuções. Em alguns casos, o consumo chega a milhares de vezes a mais, sem garantia de sucesso.

Os pesquisadores destacam que os custos não são previsíveis. Modelos diferentes exibem custos distintos para a mesma tarefa, e o mesmo modelo pode ter variação significativa entre execuções. Resultados questionam a confiabilidade de listas de preços atuais.

Outro ponto-chave é que a maior parte dos custos vem dos tokens de entrada, especialmente ao recuperar informações da memória. O estudo aponta que leituras de cache dominam o volume de tokens e o custo financeiro.

A conclusão aponta a necessidade de transparência de custos e de garantias de desempenho. Os autores sugerem estimativas em alto nível e limites rígidos de uso para evitar surpresas financeiras em implementations empresariais.

O estudo utilizou a estrutura OpenHands e o benchmark SWE-Bench para simular tarefas reais de codificação. Entre os resultados, modelos como ChatGPT apresentaram boa precisão com menor custo relativo, enquanto outras plataformas apresentaram equilíbrio diferente entre custo e acurácia.

Os autores ressaltam que o desafio de prever custos vai além dos modelos e depende do design de arquiteturas e da gestão de entradas. A recomendação é que usuários pressionem fornecedores por estimativas confiáveis e garantias operacionais.

A equipe de pesquisa reforça que a indústria deve avançar com regras mais claras de custo e desempenho. A transparência é vista como fundamental para planejamento financeiro de empresas que adotam agentes IA.