Architecture des modèles
Mélange d’experts (MoE)
Une famille d’architectures à experts routés. Les variantes clairsemées modernes n’activent que certains experts par entrée, ce qui accroît la capacité sans mobiliser tous les paramètres pour chaque jeton.
Termes clés
- experts
- routeur (router)
- activation parcimonieuse (sparse activation)
- équilibrage de charge (load balancing)
Liens dans le projet
Repose sur
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.