Suy luận và triển khai
Speculative Decoding
Phương pháp suy luận trong đó mô hình nháp nhanh hơn đề xuất nhiều token và mô hình đích kiểm tra song song. Nó có thể giảm độ trễ mà không đổi phân phối đích.
Thuật ngữ chính
- draft model
- verification
- latency
- exact sampling
Liên kết trong dự án
Dựa trên
Được dùng bởi
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.