การอนุมานและการนำไปใช้
Speculative Decoding
วิธีอนุมานที่โมเดลร่างซึ่งเร็วกว่าเสนอหลายโทเคน แล้วโมเดลเป้าหมายตรวจสอบแบบขนาน ช่วยลดเวลาแฝงโดยไม่เปลี่ยนการแจกแจงเป้าหมาย
คำสำคัญ
- โมเดลร่าง (draft model)
- การตรวจสอบ (verification)
- ความหน่วง (latency)
- การสุ่มตัวอย่างแบบตรงทุกประการ (exact sampling)
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
ถูกใช้โดย
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด