A xAI, bra\u00e7o de IA de Elon Musk, opera com 550 mil GPUs NVIDIA instaladas, usadas para treinar o chatbot Grok. Mem\u00f3ria interna divulgada pelo The Information aponta aproveitamento efetivo de apenas 11%, bem abaixo do esperado. Meta e Google superam os 40% de MFU.<\/p>\n
Os 550 mil aceleradores, entre H100 e H200 da gera\u00e7\u00e3o Hopper, ficam distribu\u00eddos entre Memphis e o supercluster Colossus. O valor de investimento em sil\u00edcio fica entre 16 e 22 bilh\u00f5es de d\u00f3lares, sem contar impostos e taxas.<\/p>\n
A discrep\u00e2ncia entre o instalado e o ativo mostra um gargalo estrutural: apenas cerca de 60 mil GPUs produzem trabalho \u00fatil, enquanto 490 mil ficam ociosas em parte do ciclo de treinamento. A ociosidade imp\u00f5e custos bilion\u00e1rios com hardware.<\/p>\n
A m\u00e9trica MFU mede o que a m\u00e1quina entrega frente ao teto te\u00f3rico do chip. Em ambientes com centenas de milhares de placas, a efici\u00eancia tende a ser mais sens\u00edvel. Paralelamente, Meta utiliza 43% e Google chega a 46% com ecossistema pr\u00f3prio de software.<\/p>\n
A compara\u00e7\u00e3o indica que a diferen\u00e7a de maturidade entre as empresas \u00e9 o principal fator de efici\u00eancia. Meta opera mais de 600 mil aceleradores H100 com MFU de cerca de 43%. Google mescla GPUs NVIDIA e TPUs, chegando a 46%.<\/p>\n
Embora o hardware seja similar em escala, o avan\u00e7o est\u00e1 no software: orquestra\u00e7\u00e3o, escalonamento e bibliotecas otimizadas, desenvolvidos ao longo de anos em opera\u00e7\u00f5es de larga escala.<\/p>\n
H\u00e1 relatos de incentivos internos para rodar experimentos sem necessidade, inflando artificialmente a MFU. Esse efeito distorce a percep\u00e7\u00e3o de efici\u00eancia e dificulta a realoca\u00e7\u00e3o de GPUs ociosas.<\/p>\n
A meta da xAI \u00e9 elevar a MFU para pr\u00f3ximo de 50%, buscando maturar o stack de software, reorganizar a pipeline de dados e ampliar a equipe de otimiza\u00e7\u00e3o de clusters. Outra hip\u00f3tese \u00e9 alugar capacidade ociosa para terceiros enquanto melhora a opera\u00e7\u00e3o.<\/p>\n
Paralelamente aos ajustes, Musk mira reduzir a depend\u00eancia da NVIDIA. O projeto Terafab, em parceria com SpaceX e Tesla, prev\u00ea f\u00e1brica pr\u00f3pria em Austin, com custo entre 20 e 25 bilh\u00f5es de d\u00f3lares. O foco inicial inclui chips de infer\u00eancia para carros e rob\u00f4s, al\u00e9m de componentes para sat\u00e9lites.<\/p>\n
A xAI tamb\u00e9m \u00e9 considerada candidata a consumir parte dessa produ\u00e7\u00e3o futura em seus clusters. Os pr\u00f3ximos passos dependem do avan\u00e7o do stack distribu\u00eddo e da disponibilidade de sil\u00edcio de alto desempenho.<\/p>\n
O relat\u00f3rio aponta que o gargalo est\u00e1 no software entre o sil\u00edcio e o modelo. Em vez de apenas aumentar o n\u00famero de GPUs, a prioridade real \u00e9 aperfei\u00e7oar a infraestrutura de treinamento distribu\u00eddo para reduzir a ociosidade.<\/p>\n","protected":false},"excerpt":{"rendered":"