学習と後学習
分散学習
データ、パラメータ、活性値、計算を複数デバイスやノードへ分割する技術です。大規模モデルの学習を可能にする一方、通信、同期、耐障害性のトレードオフを生みます。
主要用語
- データ並列（data parallelism）
- テンソル並列（tensor parallelism）
- パイプライン並列（pipeline parallelism）
- シャーディング（sharding）
プロジェクト内のつながり
関連技術
歴史的背景
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。