Обучение и постобучение
Distributed Training
Методы распределения данных, параметров, активаций или вычислений между устройствами и узлами. Они позволяют обучать крупные модели, но требуют компромиссов в коммуникации, синхронизации и отказоустойчивости.
Ключевые термины
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Связи внутри проекта
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.