Kiến trúc mô hình
Mixture of Experts (MoE)
Họ kiến trúc định tuyến giữa các mạng chuyên gia. Các biến thể thưa hiện đại chỉ kích hoạt một số chuyên gia cho mỗi đầu vào, tăng dung lượng mà không dùng mọi tham số cho từng token.
Thuật ngữ chính
- experts
- router
- sparse activation
- load balancing
Liên kết trong dự án
Dựa trên
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.