สถาปัตยกรรมโมเดล
Mixture of Experts (MoE)
ตระกูลสถาปัตยกรรมที่กำหนดเส้นทางไปยังเครือข่ายผู้เชี่ยวชาญ รุ่น sparse สมัยใหม่เปิดใช้ผู้เชี่ยวชาญเพียงบางส่วนต่ออินพุต จึงเพิ่มความจุโดยไม่ต้องใช้ทุกพารามิเตอร์กับทุกโทเคน
คำสำคัญ
- experts
- router
- sparse activation
- load balancing
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด