推理与部署
推测解码
由更快的草稿模型提出多个词元，再由目标模型并行验证的推理方法。它可在不改变目标分布的前提下降低生成延迟。
关键术语
- 草稿模型（draft model）
- 验证（verification）
- 延迟（latency）
- 精确采样（exact sampling）
项目内关联
一手来源
这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。
推理与部署
由更快的草稿模型提出多个词元，再由目标模型并行验证的推理方法。它可在不改变目标分布的前提下降低生成延迟。
这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。