मॉडल संरचना
Mixture of Experts (MoE)
मार्गनिर्देशित विशेषज्ञ संरचनाओं का एक कुल। आधुनिक विरल रूप हर निवेश के लिए केवल चुने हुए विशेषज्ञ उपजालों को सक्रिय करते हैं, जिससे क्षमता बढ़ती है पर हर टोकन पर हर प्राचल सक्रिय नहीं होता।
मुख्य शब्द
- experts
- router
- sparse activation
- load balancing
पूरी परियोजना में जुड़ाव
किस पर आधारित
संबंधित प्रौद्योगिकी
संबंधित शोधपत्र
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।