Deutsch
Zurück zu KI-Technologien

Training und Nachtraining

Verteiltes Training

Techniken, die Daten, Parameter, Aktivierungen oder Berechnungen auf Geräte und Knoten verteilen. Sie ermöglichen das Training großer Modelle, bringen aber Kommunikations-, Synchronisations- und Fehlertoleranzabwägungen mit sich.

Referenzzeitraum
2012–present
Zuletzt geprüft

Schlüsselbegriffe

  • Datenparallelität (data parallelism)
  • Tensorparallelität (tensor parallelism)
  • Pipeline-Parallelität (pipeline parallelism)
  • Sharding

Verknüpfungen im Projekt

Verwendet von

Verwandte Technologien

Verwandte Arbeiten

Historischer Kontext

Primärquellen

  1. ImageNet Classification with Deep Convolutional Neural Networks
  2. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
  3. PyTorch Fully Sharded Data Parallel

Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.