Inferensi dan penggelaran
Continuous Batching / PagedAttention
Teknik penyajian yang terus-menerus menerima dan melepas permintaan sembari mengelola memori tembolok KV dalam laman. Bersama-sama keduanya memperbaiki utilisasi dan keluaran pada beban kerja berpanjang beragam.
Istilah kunci
- penjadwalan permintaan (request scheduling)
- paging memori (memory paging)
- laju pemrosesan (throughput)
- penyajian (serving)
Terhubung di seluruh proyek
Dibangun di atas
Dipakai oleh
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.