モデルアーキテクチャ
Mixture of Experts (MoE)
ルーティングされたエキスパート網を組み合わせるアーキテクチャ群です。現代の疎な方式は入力ごとに一部だけを起動し、各トークンで全パラメータを使わずに容量を増やします。
主要用語
- experts
- router
- sparse activation
- load balancing
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
モデルアーキテクチャ
ルーティングされたエキスパート網を組み合わせるアーキテクチャ群です。現代の疎な方式は入力ごとに一部だけを起動し、各トークンで全パラメータを使わずに容量を増やします。
これは選定された技術マップであり、網羅性を主張するものではありません。