अनुमान और तैनाती
KV Cache
स्वप्रतिगामी सृजन के दौरान पहले आए टोकनों की अवधान कुंजियों और मानों का संचय। यह पूरे उपसर्ग की पुनर्गणना बचाता है, पर अक्सर स्मृति का बड़ा उपभोक्ता बन जाता है।
मुख्य शब्द
- कुंजियाँ (keys)
- मान (values)
- प्रीफ़िल (prefill)
- डिकोड (decode)
पूरी परियोजना में जुड़ाव
किस पर आधारित
किसके द्वारा प्रयुक्त
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।