Pelatihan dan pascapelatihan
Distributed Training
Teknik yang membagi data, parameter, aktivasi, atau komputasi ke berbagai perangkat dan simpul. Teknik ini memungkinkan pelatihan model besar, tetapi memunculkan pertukaran pada komunikasi, sinkronisasi, dan toleransi kegagalan.
Istilah kunci
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Terhubung di seluruh proyek
Dipakai oleh
Teknologi terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.