ไทย
กลับไปยังเทคโนโลยี AI

การฝึกและหลังการฝึก

การฝึกแบบกระจาย

เทคนิคที่แบ่งข้อมูล พารามิเตอร์ ค่า activation หรือการคำนวณไปยังอุปกรณ์และโหนดหลายตัว ทำให้ฝึกโมเดลขนาดใหญ่ได้ แต่ต้องแลกกับการสื่อสาร การซิงโครไนซ์ และความทนทานต่อความผิดพลาด

ช่วงเวลาอ้างอิง
2012–present
ตรวจล่าสุด

คำสำคัญ

  • การขนานข้อมูล (data parallelism)
  • การขนานเทนเซอร์ (tensor parallelism)
  • การขนานแบบไปป์ไลน์ (pipeline parallelism)
  • การแบ่งชาร์ด (sharding)

ความเชื่อมโยงในโครงการ

แหล่งข้อมูลปฐมภูมิ

  1. ImageNet Classification with Deep Convolutional Neural Networks
  2. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
  3. PyTorch Fully Sharded Data Parallel

นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด