Inferensi dan penggelaran
KV Cache
Tembolok kunci dan nilai atensi dari token-token sebelumnya selama pembangkitan autoregresif. Ia menghindari penghitungan ulang seluruh awalan, tetapi kerap menjadi pemakai memori yang besar.
Istilah kunci
- keys
- values
- prefill
- decode
Terhubung di seluruh proyek
Dibangun di atas
Teknologi terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.