Inferensi dan penggelaran
Speculative Decoding
Metode inferensi ketika draf yang lebih cepat mengusulkan beberapa token dan model sasaran memverifikasinya secara paralel. Cara ini dapat menurunkan latensi pembangkitan tanpa mengubah distribusi sasaran.
Istilah kunci
- model draf (draft model)
- verifikasi (verification)
- latensi (latency)
- pengambilan sampel eksak (exact sampling)
Terhubung di seluruh proyek
Dibangun di atas
Dipakai oleh
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.