अनुमान और तैनाती
Continuous Batching / PagedAttention
परोसने की वे तकनीकें जो अनुरोधों को लगातार लेती-छोड़ती रहती हैं और KV-संचय की स्मृति को पन्नों में सँभालती हैं। मिलकर ये परिवर्ती लम्बाई वाले भार में उपयोग और निर्गम दोनों बढ़ाती हैं।
मुख्य शब्द
- अनुरोध शेड्यूलिंग (request scheduling)
- मेमोरी पेजिंग (memory paging)
- निर्गम (throughput)
- परोसना (serving)
पूरी परियोजना में जुड़ाव
किस पर आधारित
किसके द्वारा प्रयुक्त
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।