繁體中文
返回 AI 技術體系

推論與部署

連續批次處理 / PagedAttention

在持續接納與移出請求的同時，以分頁方式管理 KV 快取的服務技術。兩者結合可提高變長工作負載下的利用率與吞吐量。

時間節點
2022–2023
最近審查

關鍵術語

  • 請求排程（request scheduling）
  • 記憶體分頁（memory paging）
  • 吞吐量（throughput）
  • 服務（serving）

專案內關聯

基於

被用於

相關技術

相關論文

歷史背景

第一手來源

  1. Orca: A Distributed Serving System for Transformer-Based Generative Models
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention

這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。