Inferenz und Bereitstellung
Continuous Batching / PagedAttention
Serving-Techniken, die Anfragen fortlaufend aufnehmen und abschließen und den KV-Cache seitenweise verwalten. Sie verbessern Auslastung und Durchsatz bei variablen Sequenzlängen.
Schlüsselbegriffe
- Anfrageplanung (request scheduling)
- Speicher-Paging (memory paging)
- Durchsatz (throughput)
- Serving
Verknüpfungen im Projekt
Baut auf
Verwendet von
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.