Huấn luyện và hậu huấn luyện
Huấn luyện phân tán
Các kỹ thuật chia dữ liệu, tham số, activation hoặc tính toán giữa nhiều thiết bị và nút. Chúng cho phép huấn luyện mô hình lớn nhưng tạo ra đánh đổi về giao tiếp, đồng bộ và chịu lỗi.
Thuật ngữ chính
- song song dữ liệu (data parallelism)
- song song tensor (tensor parallelism)
- song song đường ống (pipeline parallelism)
- phân mảnh (sharding)
Liên kết trong dự án
Được dùng bởi
Công nghệ liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.