Architecture des modèles
Mixture of Experts (MoE)
Une famille d’architectures à experts routés. Les variantes clairsemées modernes n’activent que certains experts par entrée, ce qui accroît la capacité sans mobiliser tous les paramètres pour chaque jeton.
Termes clés
- experts
- router
- sparse activation
- load balancing
Liens dans le projet
Repose sur
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.