Google anuncia novas TPUs para treino e inferência de IA

Google anunciou as TPUs de oitava geração: TPU 8t, para treinamento, e TPU 8i, para inferência, com disponibilidade ainda neste ano.
A TPU 8t promete reduzir o tempo de desenvolvimento de modelos de meses para semanas e tem desempenho próximo de três vezes superior à geração anterior, com capacidade de 121 exaflops e memória de alta largura de banda equivalente a 9.600 chips e 2 petabytes.
A TPU 8i é voltada a tarefas de IA colaborativas, com 288 gigabytes de memória de alta largura de banda e 384 megabytes de SRAM integrada, três vezes mais que a geração anterior, além de dobrar CPUs físicas por servidor.
A interconexão da 8i atinge 19,2 terabits por segundo, a latência do mecanismo de aceleração coletiva caiu até cinco vezes e o desempenho de inferência aumentou cerca de oitenta por cento.
A fabricante ressalta consumo de energia mais eficiente, com desempenho por watt até duas vezes melhor, e uso de resfriamento líquido de quarta geração; Citadel Securities, laboratórios nacionais dos EUA e Anthropic devem ser os primeiros a testar as novas TPUs.

Google apresentou nesta quarta-feira (22) as TPU 8t e TPU 8i, dois chips focados em treinamento e inferência de IA, respectivamente. Os componentes prometem separar de vez essas funções e devem chegar ao público ainda neste ano. Os processadores integram a linha de supercomputadores da empresa, em Mountain View, nos Estados Unidos.

A TPU 8t é destinada ao treinamento de modelos de ponta, ao desenvolvimento de agentes e a cargas de trabalho de IA com grande escala. Segundo a empresa, o hardware acelera ciclos de desenvolvimento, reduzindo semanas de trabalho para dias. A arquitetura prioriza equilíbrio entre taxa de transferência, memória compartilhada e largura de banda.

O fabricante compara o desempenho da 8t com a geração anterior, afirmando quase triplo desempenho em relação à TPU Ironwood. Um único chip da oitava geração equivale a 9.600 chips da geração anterior com memória de alta largura de banda, segundo o Google. A capacidade computacional anunciada chega a 121 exaflops, com potencial de escalabilidade para modelos complexos.

Desempenho e eficiência energética

A TPU 8t também oferece acesso a armazenamento dez vezes mais rápido, otimizando o fluxo ponta a ponta. O objetivo é reduzir o consumo de energia nos data centers, com desempenho por watt até duas vezes superior à geração anterior. A empresa destaca o ajuste dinâmico do consumo conforme a demanda.

A TPU 8i é voltada ao treinamento colaborativo de agentes de IA especializados e à inferência de modelos complexos. Conta com 288 GB de memória de alta largura de banda e 384 MB de SRAM integrada, três vezes mais que a geração anterior, além de dobrar o número de CPUs físicas por servidor.

O conjunto da 8i apresenta largura de banda de interconexão de 19,2 Tb/s, e um mecanismo de aceleração coletiva integrado que reduz a latência em até cinco vezes. O resultado no desempenho de inferência é de cerca de 80% superior, segundo a empresa.

Clientes e perspectivas

As novas TPUs devem atender a grandes clientes do Google, como a Citadel Securities e laboratórios nacionais dos Estados Unidos, que devem testar as inovações da 8t e 8i. A Anthropic também pretende utilizar o poder computacional dos novos chips no planejamento de IA.