การฝึกและหลังการฝึก
การฝึกแบบกระจาย
เทคนิคที่แบ่งข้อมูล พารามิเตอร์ ค่า activation หรือการคำนวณไปยังอุปกรณ์และโหนดหลายตัว ทำให้ฝึกโมเดลขนาดใหญ่ได้ แต่ต้องแลกกับการสื่อสาร การซิงโครไนซ์ และความทนทานต่อความผิดพลาด
คำสำคัญ
- การขนานข้อมูล (data parallelism)
- การขนานเทนเซอร์ (tensor parallelism)
- การขนานแบบไปป์ไลน์ (pipeline parallelism)
- การแบ่งชาร์ด (sharding)
ความเชื่อมโยงในโครงการ
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด