Entrenamiento y posentrenamiento
Entrenamiento distribuido
Técnicas que reparten datos, parámetros, activaciones o cómputo entre dispositivos y nodos. Permiten entrenar modelos grandes, pero introducen compromisos de comunicación, sincronización y tolerancia a fallos.
Términos clave
- paralelismo de datos (data parallelism)
- paralelismo de tensores (tensor parallelism)
- paralelismo de canalización (pipeline parallelism)
- fragmentación (sharding)
Conexiones en el proyecto
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.