अनुमान और तैनाती
KV Cache
स्वप्रतिगामी सृजन के दौरान पहले आए टोकनों की अवधान कुंजियों और मानों का संचय। यह पूरे उपसर्ग की पुनर्गणना बचाता है, पर अक्सर स्मृति का बड़ा उपभोक्ता बन जाता है।
मुख्य शब्द
- keys
- values
- prefill
- decode
पूरी परियोजना में जुड़ाव
किस पर आधारित
किसके द्वारा प्रयुक्त
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।