简体中文
返回 AI 技术体系

推理与部署

连续批处理 / PagedAttention

在连续接纳与移出请求的同时，以分页方式管理 KV 缓存的服务技术。二者结合可提高变长工作负载下的利用率和吞吐量。

时间节点
2022–2023
最近审查

关键术语

  • 请求调度（request scheduling）
  • 内存分页（memory paging）
  • 吞吐量（throughput）
  • 服务（serving）

项目内关联

基于

被用于

相关技术

相关论文

历史背景

一手来源

  1. Orca: A Distributed Serving System for Transformer-Based Generative Models
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention

这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。