การฝึกและหลังการฝึก
Distributed Training
เทคนิคที่แบ่งข้อมูล พารามิเตอร์ ค่า activation หรือการคำนวณไปยังอุปกรณ์และโหนดหลายตัว ทำให้ฝึกโมเดลขนาดใหญ่ได้ แต่ต้องแลกกับการสื่อสาร การซิงโครไนซ์ และความทนทานต่อความผิดพลาด
คำสำคัญ
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
ความเชื่อมโยงในโครงการ
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด