Deutsch
← Zurück zu KI-Technologien

Training und Nachtraining

Distributed Training

Techniken, die Daten, Parameter, Aktivierungen oder Berechnungen auf Geräte und Knoten verteilen. Sie ermöglichen das Training großer Modelle, bringen aber Kommunikations-, Synchronisations- und Fehlertoleranzabwägungen mit sich.

Referenzzeitraum
2012–present
Zuletzt geprüft

Schlüsselbegriffe

  • data parallelism
  • tensor parallelism
  • pipeline parallelism
  • sharding

Verknüpfungen im Projekt

Verwendet von

Verwandte Technologien

Verwandte Arbeiten

Historischer Kontext

Primärquellen

  1. ImageNet Classification with Deep Convolutional Neural Networks
  2. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
  3. PyTorch Fully Sharded Data Parallel

Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.