日本語
AI技術体系に戻る

推論と配備

投機的デコーディング

高速なドラフトが複数トークンを提案し、対象モデルが並列検証する推論手法です。対象分布を変えずに生成遅延を短縮できます。

基準時期
2022
最終確認

主要用語

  • ドラフトモデル（draft model）
  • 検証（verification）
  • 遅延（latency）
  • 厳密なサンプリング（exact sampling）

プロジェクト内のつながり

基盤とする技術

利用する技術

関連技術

関連論文

歴史的背景

一次資料

  1. Fast Inference from Transformers via Speculative Decoding

これは選定された技術マップであり、網羅性を主張するものではありません。