الاستدلال والنشر
KV Cache
ذاكرة لمفاتيح الانتباه وقيمه من الرموز السابقة في أثناء التوليد الانحداري الذاتي. وهي تتجنّب إعادة حساب البادئة كاملةً، لكنها كثيرًا ما تصير مستهلكًا رئيسًا للذاكرة.
المصطلحات الأساسية
- keys
- values
- prefill
- decode
الروابط عبر المشروع
يبني على
تقنيات ذات صلة
السياق التاريخي
المصادر الأولية
هذه خريطة تقنية منتقاة، لا ادّعاء بتغطية شاملة.