التدريب وما بعد التدريب
التدريب الموزّع
تقنيات تقسّم البيانات أو الوسائط أو التفعيلات أو الحساب عبر الأجهزة والعقد. وهي تتيح تدريب النماذج الكبيرة لكنها تُدخل مقايضات في الاتصال والتزامن وتحمّل الأعطال.
المصطلحات الأساسية
- توازي البيانات (data parallelism)
- توازي التنسورات (tensor parallelism)
- توازي خط الأنابيب (pipeline parallelism)
- التجزئة (sharding)
الروابط عبر المشروع
يُستخدَم في
تقنيات ذات صلة
السياق التاريخي
المصادر الأولية
هذه خريطة تقنية منتقاة، لا ادّعاء بتغطية شاملة.