Inferensi dan penggelaran
Speculative Decoding
Metode inferensi ketika draf yang lebih cepat mengusulkan beberapa token dan model sasaran memverifikasinya secara paralel. Cara ini dapat menurunkan latensi pembangkitan tanpa mengubah distribusi sasaran.
Istilah kunci
- draft model
- verification
- latency
- exact sampling
Terhubung di seluruh proyek
Dibangun di atas
Dipakai oleh
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.