Treino e pós-treino
Distributed Training
Técnicas que repartem dados, parâmetros, ativações ou computação entre dispositivos e nós. Permitem treinar grandes modelos, mas introduzem compromissos de comunicação, sincronização e tolerância a falhas.
Termos-chave
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Ligações no projeto
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.