Inferensi dan penggelaran
KV Cache
Tembolok kunci dan nilai atensi dari token-token sebelumnya selama pembangkitan autoregresif. Ia menghindari penghitungan ulang seluruh awalan, tetapi kerap menjadi pemakai memori yang besar.
Istilah kunci
- kunci (keys)
- nilai (values)
- pengisian awal (prefill)
- dekode (decode)
Terhubung di seluruh proyek
Dibangun di atas
Teknologi terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.