MoE 2.0: Novas abordagens revolucionam a eficiência em sistemas de inteligência artificial

O conceito de Mixture-of-Experts (MoE) tem revolucionado o desenvolvimento de sistemas de inteligência artificial (IA), permitindo o crescimento de modelos com trilhões de parâmetros sem sobrecarregar o hardware. Recentemente, novas abordagens como S’MoRE e Symbolic-MoE foram introduzidas, otimizando a eficiência e a flexibilidade desses modelos.

O MoE permite que modelos selecionem dinamicamente especialistas com base na entrada, especializando-se em diferentes subdomínios ou tarefas. Exemplos incluem o DeepSeek-V3, que possui 671 bilhões de parâmetros, e o Gemini 1.5 Pro do Google, que utiliza um Transformer MoE esparso para gerenciar eficientemente um contexto de um milhão de tokens. Outros modelos notáveis são o Mixtral 8×22B da Mistral e o Qwen2.5-Max da Alibaba, que se destacam em desempenho e custo.

Novas Abordagens

Duas novas pesquisas foram publicadas recentemente. A primeira, S’MoRE, combina adaptadores de baixa classificação (LoRA) com uma árvore hierárquica de MoE, proporcionando uma flexibilidade estrutural que modelos densos não conseguem igualar. A segunda, Symbolic-MoE, desenvolvida na Universidade da Carolina do Norte, move o MoE para o espaço da linguagem pura, superando a precisão do GPT-4o-mini e permitindo a operação de 16 especialistas em uma única GPU.

Essas inovações, como eMoE, MoEShard e Speculative-MoE, visam otimizar a inferência em modelos MoE, prometendo eficiência e escalabilidade. O avanço dessas técnicas pode ser crucial para o desenvolvimento de modelos de código aberto que atendam a demandas crescentes.

A nova fase do MoE, chamada de MoE 2.0, está em ascensão, com um foco em reimaginar a eficiência e a capacidade de inferência dos modelos. As inovações recentes podem abrir caminho para um futuro mais robusto e acessível na IA.