简体中文
← 返回 AI 技术体系

模型架构

Mixture of Experts (MoE)

一类通过路由组合专家子网络的架构。现代稀疏变体只为每个输入激活部分专家，从而扩大模型容量，而无须让每个词元都调用全部参数。

时间节点
1991 / 2017 / 2021
最近审查

关键术语

  • experts
  • router
  • sparse activation
  • load balancing

项目内关联

基于

被用于

相关技术

相关论文

历史背景

一手来源

  1. Adaptive Mixtures of Local Experts
  2. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
  3. Switch Transformers

这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。