Inferenz und Bereitstellung
KV Cache
Ein Cache der Attention-Schlüssel und -Werte früherer Tokens bei autoregressiver Generierung. Er vermeidet die Neuberechnung des gesamten Präfixes, benötigt aber häufig viel Speicher.
Schlüsselbegriffe
- keys
- values
- prefill
- decode
Verknüpfungen im Projekt
Baut auf
Verwandte Technologien
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.