ADATA mira eliminar gargalos de GPUs em IA com RAM e SSDs

Adata Trusta lançou o AI Scaler Toolkit para eliminar gargalos de memória em IA, combinando memória do sistema (DRAM) e SSDs com GPUs.
A solução integrada de software e hardware amplia a memória disponível, permitindo que modelos rodem com menos dependência da memória da GPU e de SSDs de alta velocidade.
A promessa é reduzir custos de implementação em mais de 50% em cenários de inferência e ajuste fino de modelos.
O toolkit é de código aberto, não preso a hardware específico, e suporta famílias de modelos como Llama, Qwen, Mistral, Mixtral, GPT-OSS, entre outros.
O AI Scaler Toolkit já está disponível para download no GitHub, oferecendo integração para workloads de IA e fluxos de trabalho com agentes de IA.

A ADATA, por meio de sua marca irmã TRUSTA, apresentou uma solução para reduzir gargalos de memória em infraestruturas de IA. O lançamento, anunciado como hoje, integra memória do sistema e SSDs aos workloads de IA, além de oferecer suporte a modelos complexos com maior flexibilidade.

A proposta, chamada AI Scaler Toolkit, combina software e hardware para expandir a memória disponível durante a inferência e o ajuste fino de modelos. Segundo a empresa, a solução pode reduzir custos de implementação em mais de 50% em cenários de IA. A novidade marca a evolução da ADATA rumo a soluções integradas.

Solução em camadas

A ferramenta central, o AI Scaler Toolkit, amplia a implantação de modelos além das GPUs, aproveitando memória de sistema e SSDs de alta velocidade. Em testes, modelos que normalmente exigem várias GPUs podem rodar com uma única GPU acompanhada de memória expandida.

Para o ajuste fino, a solução redistribui recursos entre GPU, DRAM e SSD de forma dinâmica, proporcionando escalabilidade mais flexível. A empresa destaca que a abordagem facilita a avaliação de IA em orçamentos limitados.

Open Source

A AI Scaler Toolkit é apresentada como plataforma gratuita e de código aberto, sem dependência de hardware específico. A abertura permite configuração de recursos conforme necessidade e facilita integração com plataformas diversas, incluindo modelos como Llama, Qwen, Mistral, Mixtral, GPT-OSS e outros em desenvolvimento. A ferramenta já está disponível para download.