Inferensi dan penggelaran
Continuous Batching / PagedAttention
Teknik penyajian yang terus-menerus menerima dan melepas permintaan sembari mengelola memori tembolok KV dalam laman. Bersama-sama keduanya memperbaiki utilisasi dan keluaran pada beban kerja berpanjang beragam.
Istilah kunci
- request scheduling
- memory paging
- throughput
- serving
Terhubung di seluruh proyek
Dibangun di atas
Dipakai oleh
Teknologi terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.