Training e post-training
Addestramento distribuito
Tecniche che suddividono dati, parametri, attivazioni o calcolo tra dispositivi e nodi. Rendono possibile addestrare grandi modelli, introducendo compromessi di comunicazione, sincronizzazione e resilienza.
Termini chiave
- parallelismo dei dati (data parallelism)
- parallelismo tensoriale (tensor parallelism)
- parallelismo a pipeline (pipeline parallelism)
- partizionamento (sharding)
Collegamenti nel progetto
Tecnologie correlate
Articoli correlati
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.