Suy luận và triển khai
Giải mã suy đoán
Phương pháp suy luận trong đó mô hình nháp nhanh hơn đề xuất nhiều token và mô hình đích kiểm tra song song. Nó có thể giảm độ trễ mà không đổi phân phối đích.
Thuật ngữ chính
- mô hình nháp (draft model)
- xác minh (verification)
- độ trễ (latency)
- lấy mẫu chính xác (exact sampling)
Liên kết trong dự án
Dựa trên
Được dùng bởi
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.