สถาปัตยกรรมโมเดล
การผสมผู้เชี่ยวชาญ (MoE)
ตระกูลสถาปัตยกรรมที่กำหนดเส้นทางไปยังเครือข่ายผู้เชี่ยวชาญ รุ่น sparse สมัยใหม่เปิดใช้ผู้เชี่ยวชาญเพียงบางส่วนต่ออินพุต จึงเพิ่มความจุโดยไม่ต้องใช้ทุกพารามิเตอร์กับทุกโทเคน
คำสำคัญ
- ผู้เชี่ยวชาญ (experts)
- ตัวจัดเส้นทาง (router)
- การกระตุ้นแบบเบาบาง (sparse activation)
- การกระจายภาระ (load balancing)
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด