Suy luận và triển khai
KV Cache
Bộ nhớ đệm các key và value attention của token trước trong quá trình sinh tự hồi quy. Nó tránh tính lại toàn bộ tiền tố nhưng thường tiêu thụ nhiều bộ nhớ.
Thuật ngữ chính
- keys
- values
- prefill
- decode
Liên kết trong dự án
Dựa trên
Công nghệ liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.