अनुमान और तैनाती
Continuous Batching / PagedAttention
परोसने की वे तकनीकें जो अनुरोधों को लगातार लेती-छोड़ती रहती हैं और KV-संचय की स्मृति को पन्नों में सँभालती हैं। मिलकर ये परिवर्ती लम्बाई वाले भार में उपयोग और निर्गम दोनों बढ़ाती हैं।
मुख्य शब्द
- request scheduling
- memory paging
- throughput
- serving
पूरी परियोजना में जुड़ाव
किस पर आधारित
किसके द्वारा प्रयुक्त
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।