Suy luận và triển khai
Gom lô liên tục / PagedAttention
Kỹ thuật phục vụ liên tục nhận và hoàn tất yêu cầu, đồng thời quản lý KV cache theo trang. Chúng cải thiện mức sử dụng và thông lượng với tải có độ dài thay đổi.
Thuật ngữ chính
- lập lịch yêu cầu (request scheduling)
- phân trang bộ nhớ (memory paging)
- thông lượng (throughput)
- phục vụ (serving)
Liên kết trong dự án
Dựa trên
Được dùng bởi
Công nghệ liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.