การอนุมานและการนำไปใช้
KV Cache
แคชของ key และ value ใน attention จากโทเคนก่อนหน้าระหว่างการสร้างแบบ autoregressive ช่วยเลี่ยงการคำนวณ prefix ทั้งหมดซ้ำ แต่มักใช้หน่วยความจำสูง
คำสำคัญ
- keys
- values
- prefill
- decode
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
เทคโนโลยีที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด