推論と配備
KV Cache
自己回帰生成で過去トークンの注意キーと値を保存するキャッシュです。接頭部全体の再計算を避けられますが、大きなメモリ消費源になります。
主要用語
- keys
- values
- prefill
- decode
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
推論と配備
自己回帰生成で過去トークンの注意キーと値を保存するキャッシュです。接頭部全体の再計算を避けられますが、大きなメモリ消費源になります。
これは選定された技術マップであり、網羅性を主張するものではありません。