Kiến trúc mô hình
Hỗn hợp chuyên gia (MoE)
Họ kiến trúc định tuyến giữa các mạng chuyên gia. Các biến thể thưa hiện đại chỉ kích hoạt một số chuyên gia cho mỗi đầu vào, tăng dung lượng mà không dùng mọi tham số cho từng token.
Thuật ngữ chính
- chuyên gia (experts)
- bộ định tuyến (router)
- kích hoạt thưa (sparse activation)
- cân bằng tải (load balancing)
Liên kết trong dự án
Dựa trên
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.