O Mixture-of-Experts, ou MoE, é uma técnica que ajuda a criar sistemas de inteligência artificial muito grandes, com trilhões de parâmetros, sem exigir tanto do hardware. Novas abordagens, como S’MoRE e Symbolic-MoE, foram apresentadas recentemente, melhorando a eficiência e a flexibilidade desses modelos. O MoE permite que os modelos escolham especialistas para tarefas específicas, como o DeepSeek-V3, que tem 671 bilhões de parâmetros, e o Gemini 1.5 Pro, que usa um Transformer MoE para lidar com um milhão de tokens. Outros modelos importantes incluem o Mixtral 8×22B e o Qwen2.5-Max, que se destacam em desempenho e custo. As novas pesquisas S’MoRE e Symbolic-MoE trazem inovações, como a combinação de adaptadores com uma estrutura hierárquica e a aplicação do MoE em linguagem pura, permitindo que 16 especialistas operem em uma única GPU. Essas inovações visam melhorar a eficiência dos modelos MoE e podem ser importantes para o desenvolvimento de modelos de código aberto. A nova fase do MoE, chamada MoE 2.0, busca aumentar a eficiência e a capacidade de inferência, prometendo um futuro mais acessível na inteligência artificial.
O conceito de Mixture-of-Experts (MoE) tem revolucionado o desenvolvimento de sistemas de inteligência artificial (IA), permitindo o crescimento de modelos com trilhões de parâmetros sem sobrecarregar o hardware. Recentemente, novas abordagens como S’MoRE e Symbolic-MoE foram introduzidas, otimizando a eficiência e a flexibilidade desses modelos.
O MoE permite que modelos selecionem dinamicamente especialistas com base na entrada, especializando-se em diferentes subdomínios ou tarefas. Exemplos incluem o DeepSeek-V3, que possui 671 bilhões de parâmetros, e o Gemini 1.5 Pro do Google, que utiliza um Transformer MoE esparso para gerenciar eficientemente um contexto de um milhão de tokens. Outros modelos notáveis são o Mixtral 8×22B da Mistral e o Qwen2.5-Max da Alibaba, que se destacam em desempenho e custo.
Novas Abordagens
Duas novas pesquisas foram publicadas recentemente. A primeira, S’MoRE, combina adaptadores de baixa classificação (LoRA) com uma árvore hierárquica de MoE, proporcionando uma flexibilidade estrutural que modelos densos não conseguem igualar. A segunda, Symbolic-MoE, desenvolvida na Universidade da Carolina do Norte, move o MoE para o espaço da linguagem pura, superando a precisão do GPT-4o-mini e permitindo a operação de 16 especialistas em uma única GPU.
Essas inovações, como eMoE, MoEShard e Speculative-MoE, visam otimizar a inferência em modelos MoE, prometendo eficiência e escalabilidade. O avanço dessas técnicas pode ser crucial para o desenvolvimento de modelos de código aberto que atendam a demandas crescentes.
A nova fase do MoE, chamada de MoE 2.0, está em ascensão, com um foco em reimaginar a eficiência e a capacidade de inferência dos modelos. As inovações recentes podem abrir caminho para um futuro mais robusto e acessível na IA.
Entre na conversa da comunidade