Arquitetura de modelos
Mistura de especialistas (MoE)
Uma família de arquiteturas com especialistas encaminhados. As variantes esparsas modernas ativam apenas alguns especialistas por entrada, aumentando a capacidade sem mobilizar todos os parâmetros em cada token.
Termos-chave
- especialistas (experts)
- encaminhador (router)
- ativação esparsa (sparse activation)
- balanceamento de carga (load balancing)
Ligações no projeto
Assenta em
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.