Inferenz und Bereitstellung
KV Cache
Ein Cache der Attention-Schlüssel und -Werte früherer Tokens bei autoregressiver Generierung. Er vermeidet die Neuberechnung des gesamten Präfixes, benötigt aber häufig viel Speicher.
Schlüsselbegriffe
- Schlüssel (keys)
- Werte (values)
- Prefill
- Dekodierung (decode)
Verknüpfungen im Projekt
Baut auf
Verwandte Technologien
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.