Pelatihan dan pascapelatihan
Pelatihan Terdistribusi
Teknik yang membagi data, parameter, aktivasi, atau komputasi ke berbagai perangkat dan simpul. Teknik ini memungkinkan pelatihan model besar, tetapi memunculkan pertukaran pada komunikasi, sinkronisasi, dan toleransi kegagalan.
Istilah kunci
- paralelisme data (data parallelism)
- paralelisme tensor (tensor parallelism)
- paralelisme pipeline (pipeline parallelism)
- sharding
Terhubung di seluruh proyek
Dipakai oleh
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.