การอนุมานและการนำไปใช้
Continuous Batching / PagedAttention
เทคนิคการให้บริการที่รับและนำคำขอออกอย่างต่อเนื่อง พร้อมจัดการหน่วยความจำ KV cache เป็นหน้า ช่วยเพิ่มการใช้ทรัพยากรและ throughput เมื่อความยาวงานแตกต่างกัน
คำสำคัญ
- การจัดลำดับคำขอ (request scheduling)
- การแบ่งหน้าหน่วยความจำ (memory paging)
- throughput
- การให้บริการ (serving)
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
ถูกใช้โดย
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด