Treino e pós-treino
Treino distribuído
Técnicas que repartem dados, parâmetros, ativações ou computação entre dispositivos e nós. Permitem treinar grandes modelos, mas introduzem compromissos de comunicação, sincronização e tolerância a falhas.
Termos-chave
- paralelismo de dados (data parallelism)
- paralelismo de tensores (tensor parallelism)
- paralelismo de pipeline (pipeline parallelism)
- fragmentação (sharding)
Ligações no projeto
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.