Suy luận và triển khai
Continuous Batching / PagedAttention
Kỹ thuật phục vụ liên tục nhận và hoàn tất yêu cầu, đồng thời quản lý KV cache theo trang. Chúng cải thiện mức sử dụng và thông lượng với tải có độ dài thay đổi.
Thuật ngữ chính
- request scheduling
- memory paging
- throughput
- serving
Liên kết trong dự án
Dựa trên
Được dùng bởi
Công nghệ liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.