模型架构
混合专家 (MoE)
一类通过路由组合专家子网络的架构。现代稀疏变体只为每个输入激活部分专家，从而扩大模型容量，而无须让每个词元都调用全部参数。
关键术语
- 专家（experts）
- 路由器（router）
- 稀疏激活（sparse activation）
- 负载均衡（load balancing）
项目内关联
一手来源
这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。
模型架构
一类通过路由组合专家子网络的架构。现代稀疏变体只为每个输入激活部分专家，从而扩大模型容量，而无须让每个词元都调用全部参数。
这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。