Инференс и развёртывание
Квантование
Представление весов, активаций или кэшей с пониженной числовой точностью. Оно сокращает память, пропускную способность и вычисления, но требует компромисса с точностью и поддержкой оборудования.
Ключевые термины
- точность (precision)
- INT8
- INT4
- только веса (weight-only)
Связи внутри проекта
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.