Arquitetura de modelos
Mixture of Experts (MoE)
Uma família de arquiteturas com especialistas encaminhados. As variantes esparsas modernas ativam apenas alguns especialistas por entrada, aumentando a capacidade sem mobilizar todos os parâmetros em cada token.
Termos-chave
- experts
- router
- sparse activation
- load balancing
Ligações no projeto
Assenta em
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.