الاستدلال والنشر
Continuous Batching / PagedAttention
تقنيات تقديم تقبل الطلبات وتُنهيها باستمرار مع إدارة ذاكرة KV في صفحات. وهما معًا يحسّنان الاستغلال والإنتاجية تحت أحمال متغيّرة الطول.
المصطلحات الأساسية
- request scheduling
- memory paging
- throughput
- serving
الروابط عبر المشروع
يبني على
يُستخدَم في
تقنيات ذات صلة
السياق التاريخي
المصادر الأولية
هذه خريطة تقنية منتقاة، لا ادّعاء بتغطية شاملة.