Entrenamiento y posentrenamiento
Distributed Training
Técnicas que reparten datos, parámetros, activaciones o cómputo entre dispositivos y nodos. Permiten entrenar modelos grandes, pero introducen compromisos de comunicación, sincronización y tolerancia a fallos.
Términos clave
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Conexiones en el proyecto
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.