GB300 da NVIDIA entrega até 20x mais desempenho em IA autônoma que Hopper

GB300 NVL72 da NVIDIA entrega até 20x mais desempenho por megawatt em IA autônoma frente à geração HGX H200.
A plataforma pode suportar até 60.000 agentes simultâneos por MW, um salto em relação ao Hopper.
Na primeira rodada de benchmarks, GB300 NVL72 registrou 61,4 mil agentes por MW e 57,5 agentes por GPU; o HGX H200 teve 2,6 mil e 1,4, respectivamente.
O AA-AgentPerf mede três métricas: tempo até o primeiro token, velocidade de saída e taxa de transferência de saída. Os resultados são atualizados conforme novas tecnologias ficam disponíveis.
A NVIDIA projeta ganhos adicionais com o lançamento do Rubin, que deve oferecer cerca de 50 PFLOPs de computação NVFP4, além de melhorias com a CPU Vera para chamadas de LLM e desempenho ponta a ponta.

A NVIDIA divulgou seus primeiros benchmarks com o AgentPerf usando o DeepSeek V4 Pro na plataforma GB300 NVL72. O modelo representa a classe Frontier usada para alimentar agentes de IA, amplamente adotados no setor.

Na primeira rodada, o GB300 atingiu desempenho mais rápido, registrando vantagem de até 20x por megawatt em relação à geração HGX H200. O GB300 sustenta até 60.000 agentes simultâneos por MW, um salto em relação ao Hopper.

Na comparação direta, o GB300 NVL72 conseguiu 61,4 mil agentes por MW, contra 2,6 mil do H200. Em termos de agentes simultâneos por GPU, foram 57,5 para o GB300 frente a 1,4 para o H200. Esses números destacam eficiência energética e de hardware.

A NVIDIA afirma que o desempenho demonstra a capacidade do GB300 NVL72 e do Blackwell de executar cargas de trabalho de codificação de agentes em larga escala, mantendo GPUs totalmente utilizadas em sessões de agentes simultâneas.

O estudo aponta ainda que o Rubin da NVIDIA deve ser lançado e promete ampliar vantagens com uma arquitetura de IA superpotente, oferecendo 50 PFLOPs de computação do NVFP4. A empresa não detalha datas de lançamento.

A parceria com a CPU Vera deve trazer ganhos de desempenho e eficiência para chamadas de ferramenta LLM e solução de ponta a ponta, segundo a fabricante. As informações são apresentadas com base nos benchmarks e comunicados oficiais.

O material inclui a descrição do AA-AgentPerf, um novo benchmark da Artificial Analysis que mede quantos agentes ativos uma inferência pode suportar sob cargas realistas, com foco em produção.

O AA-AgentPerf avalia três métricas-chave: TTFT, velocidade de saída e taxa de transferência de saída do sistema, além de considerar trajetórias reais de agentes, carga concorrente sustentada e níveis de SLO de mercado.

A metodologia envolve atualizações contínuas conforme novos hardwares, stacks de software e versões de modelos ficam disponíveis, com resultados refletindo serviços de API serverless e condições de produção.

Fontes: NVIDIA e Artificial Analysis, que destacam a aplicação do AgentPerf e as métricas de desempenho para IA agentic, com referência a benchmarks relevantes.