Huấn luyện và hậu huấn luyện
Distributed Training
Các kỹ thuật chia dữ liệu, tham số, activation hoặc tính toán giữa nhiều thiết bị và nút. Chúng cho phép huấn luyện mô hình lớn nhưng tạo ra đánh đổi về giao tiếp, đồng bộ và chịu lỗi.
Thuật ngữ chính
- data parallelism
- tensor parallelism
- pipeline parallelism
- sharding
Liên kết trong dự án
Được dùng bởi
Công nghệ liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.