Modellarchitektur
Mixture of Experts (MoE)
Eine Familie gerouteter Expertenarchitekturen. Moderne dünn aktivierte Varianten wählen pro Eingabe nur bestimmte Experten und erhöhen so die Kapazität, ohne für jedes Token alle Parameter zu nutzen.
Schlüsselbegriffe
- experts
- router
- sparse activation
- load balancing
Verknüpfungen im Projekt
Baut auf
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.