Inferenza e distribuzione
KV Cache
Una cache delle chiavi e dei valori di attenzione dei token precedenti durante la generazione autoregressiva. Evita di ricalcolare l’intero prefisso, ma spesso consuma molta memoria.
Termini chiave
- chiavi (keys)
- valori (values)
- prefill
- decodifica (decode)
Collegamenti nel progetto
Si basa su
Tecnologie correlate
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.