モデルアーキテクチャ
混合エキスパート（MoE）
ルーティングされたエキスパート網を組み合わせるアーキテクチャ群です。現代の疎な方式は入力ごとに一部だけを起動し、各トークンで全パラメータを使わずに容量を増やします。
主要用語
- エキスパート（experts）
- ルーター（router）
- スパース活性化（sparse activation）
- 負荷分散（load balancing）
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
モデルアーキテクチャ
ルーティングされたエキスパート網を組み合わせるアーキテクチャ群です。現代の疎な方式は入力ごとに一部だけを起動し、各トークンで全パラメータを使わずに容量を増やします。
これは選定された技術マップであり、網羅性を主張するものではありません。