Обучение и постобучение
Распределённое обучение
Методы распределения данных, параметров, активаций или вычислений между устройствами и узлами. Они позволяют обучать крупные модели, но требуют компромиссов в коммуникации, синхронизации и отказоустойчивости.
Ключевые термины
- параллелизм данных (data parallelism)
- тензорный параллелизм (tensor parallelism)
- конвейерный параллелизм (pipeline parallelism)
- шардирование (sharding)
Связи внутри проекта
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.