Inférence et déploiement
KV Cache
Un cache des clés et valeurs d’attention des jetons précédents pendant la génération autorégressive. Il évite de recalculer tout le préfixe, mais consomme souvent beaucoup de mémoire.
Termes clés
- keys
- values
- prefill
- decode
Liens dans le projet
Repose sur
Technologies liées
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.