A ADATA, por meio de sua marca irmã TRUSTA, apresentou uma solução para reduzir gargalos de memória em infraestruturas de IA. O lançamento, anunciado como hoje, integra memória do sistema e SSDs aos workloads de IA, além de oferecer suporte a modelos complexos com maior flexibilidade.
A proposta, chamada AI Scaler Toolkit, combina software e hardware para expandir a memória disponível durante a inferência e o ajuste fino de modelos. Segundo a empresa, a solução pode reduzir custos de implementação em mais de 50% em cenários de IA. A novidade marca a evolução da ADATA rumo a soluções integradas.
Solução em camadas
A ferramenta central, o AI Scaler Toolkit, amplia a implantação de modelos além das GPUs, aproveitando memória de sistema e SSDs de alta velocidade. Em testes, modelos que normalmente exigem várias GPUs podem rodar com uma única GPU acompanhada de memória expandida.
Para o ajuste fino, a solução redistribui recursos entre GPU, DRAM e SSD de forma dinâmica, proporcionando escalabilidade mais flexível. A empresa destaca que a abordagem facilita a avaliação de IA em orçamentos limitados.
Open Source
A AI Scaler Toolkit é apresentada como plataforma gratuita e de código aberto, sem dependência de hardware específico. A abertura permite configuração de recursos conforme necessidade e facilita integração com plataformas diversas, incluindo modelos como Llama, Qwen, Mistral, Mixtral, GPT-OSS e outros em desenvolvimento. A ferramenta já está disponível para download.
Entre na conversa da comunidade