Inferenz und Bereitstellung
Continuous Batching / PagedAttention
Serving-Techniken, die Anfragen fortlaufend aufnehmen und abschließen und den KV-Cache seitenweise verwalten. Sie verbessern Auslastung und Durchsatz bei variablen Sequenzlängen.
Schlüsselbegriffe
- request scheduling
- memory paging
- throughput
- serving
Verknüpfungen im Projekt
Baut auf
Verwendet von
Verwandte Technologien
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.