Arquitectura de modelos
Mezcla de expertos (MoE)
Una familia de arquitecturas con expertos enrutados. Las variantes dispersas modernas activan solo algunos expertos por entrada, aumentando la capacidad sin usar todos los parámetros en cada token.
Términos clave
- expertos (experts)
- enrutador (router)
- activación dispersa (sparse activation)
- equilibrio de carga (load balancing)
Conexiones en el proyecto
Se basa en
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.