DeepSeek gasta US$ 294 mil em treinamento de IA, menos de 0,3% do ChatGPT

Em janeiro, o modelo R1 da DeepSeek, uma empresa chinesa de inteligência artificial, surpreendeu o mercado ao ser lançado como uma alternativa de código aberto ao ChatGPT da OpenAI. A revelação do custo de treinamento do R1, que foi de apenas US$ 294 mil, contrasta fortemente com os mais de US$ 100 milhões gastos pela OpenAI, reacendendo discussões sobre a competitividade da China na corrida global por inteligência artificial.

A atualização foi divulgada em um artigo revisado por pares na revista científica Nature. A DeepSeek, que enfrentou desafios para se manter relevante após o lançamento do R1, destacou que o modelo foi treinado utilizando 512 chips H800, desenvolvidos pela Nvidia para o mercado chinês, após restrições de exportação dos chips H100 e A100 pelos Estados Unidos. A empresa negou acusações de que teria acessado chips H100 antes das restrições, afirmando que utilizou apenas os H800 durante o treinamento.

Além disso, a DeepSeek admitiu o uso de chips A100 nas fases iniciais do desenvolvimento do R1. Em um documento complementar, os pesquisadores esclareceram que esses chips foram usados para preparar experimentos com um modelo menor antes do treinamento final do R1. O treinamento do modelo durou 80 horas, um tempo relativamente curto em comparação com os padrões da indústria.

A empresa também se defendeu de alegações de “destilação” de modelos da OpenAI, uma técnica que permite que um sistema de IA aprenda com outro. A DeepSeek afirmou que os dados de treinamento para o modelo V3 foram baseados em páginas da web que continham respostas geradas por modelos da OpenAI, resultando em uma aquisição de conhecimento de forma não intencional. Essa revelação levanta questões sobre as práticas de treinamento e a ética no desenvolvimento de inteligência artificial.