简体中文
返回 AI 技术体系

训练与后训练

分布式训练

将数据、参数、激活值或计算拆分到多台设备和节点的技术。它让大模型训练成为可能，同时引入通信、同步与容错权衡。

时间节点
2012–present
最近审查

关键术语

  • 数据并行（data parallelism）
  • 张量并行（tensor parallelism）
  • 流水线并行（pipeline parallelism）
  • 分片（sharding）

项目内关联

被用于

相关技术

相关论文

历史背景

一手来源

  1. ImageNet Classification with Deep Convolutional Neural Networks
  2. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
  3. PyTorch Fully Sharded Data Parallel

这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。