推論と配備
Quantization
重み、活性値、キャッシュを低い数値精度で表現する技術です。メモリ、帯域、計算コストを減らせますが、精度とハードウェア対応とのトレードオフがあります。
主要用語
- precision
- INT8
- INT4
- weight-only
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
推論と配備
重み、活性値、キャッシュを低い数値精度で表現する技術です。メモリ、帯域、計算コストを減らせますが、精度とハードウェア対応とのトレードオフがあります。
これは選定された技術マップであり、網羅性を主張するものではありません。