Inferenza e distribuzione
KV Cache
Una cache delle chiavi e dei valori di attenzione dei token precedenti durante la generazione autoregressiva. Evita di ricalcolare l’intero prefisso, ma spesso consuma molta memoria.
Termini chiave
- keys
- values
- prefill
- decode
Collegamenti nel progetto
Si basa su
Tecnologie correlate
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.