推論と配備
量子化
重み、活性値、キャッシュを低い数値精度で表現する技術です。メモリ、帯域、計算コストを減らせますが、精度とハードウェア対応とのトレードオフがあります。
主要用語
- 精度（precision）
- INT8
- INT4
- 重みのみ（weight-only）
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
推論と配備
重み、活性値、キャッシュを低い数値精度で表現する技術です。メモリ、帯域、計算コストを減らせますが、精度とハードウェア対応とのトレードオフがあります。
これは選定された技術マップであり、網羅性を主張するものではありません。