Arsitektur model
Mixture of Experts (MoE)
Keluarga arsitektur pakar terarah. Varian jarang masa kini hanya mengaktifkan subjaringan pakar terpilih untuk setiap masukan, sehingga kapasitas bertambah tanpa mengaktifkan setiap parameter pada setiap token.
Istilah kunci
- experts
- router
- sparse activation
- load balancing
Terhubung di seluruh proyek
Dibangun di atas
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.