日本語
AI技術体系に戻る

推論と配備

KV Cache

自己回帰生成で過去トークンの注意キーと値を保存するキャッシュです。接頭部全体の再計算を避けられますが、大きなメモリ消費源になります。

基準時期
2017–present
最終確認

主要用語

  • キー（keys）
  • 値（values）
  • プレフィル（prefill）
  • デコード（decode）

プロジェクト内のつながり

基盤とする技術

利用する技術

関連技術

歴史的背景

一次資料

  1. Transformers cache explanation

これは選定された技術マップであり、網羅性を主張するものではありません。