Training e post-training
Distributed Training
Tecniche che suddividono dati, parametri, attivazioni o calcolo tra dispositivi e nodi. Rendono possibile addestrare grandi modelli, introducendo compromessi di comunicazione, sincronizzazione e resilienza.
Termini chiave
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Collegamenti nel progetto
Tecnologie correlate
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.