繁體中文
← 返回 AI 技術體系

模型架構

Mixture of Experts (MoE)

一類透過路由組合專家子網路的架構。現代稀疏變體只為每個輸入啟用部分專家，從而擴大模型容量，而無須讓每個詞元都呼叫全部參數。

時間節點
1991 / 2017 / 2021
最近審查

關鍵術語

  • experts
  • router
  • sparse activation
  • load balancing

專案內關聯

基於

被用於

相關技術

相關論文

歷史背景

第一手來源

  1. Adaptive Mixtures of Local Experts
  2. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
  3. Switch Transformers

這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。