Arquitectura de modelos
Mixture of Experts (MoE)
Una familia de arquitecturas con expertos enrutados. Las variantes dispersas modernas activan solo algunos expertos por entrada, aumentando la capacidad sin usar todos los parámetros en cada token.
Términos clave
- experts
- router
- sparse activation
- load balancing
Conexiones en el proyecto
Se basa en
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.