Инференс и развёртывание
Quantization
Представление весов, активаций или кэшей с пониженной числовой точностью. Оно сокращает память, пропускную способность и вычисления, но требует компромисса с точностью и поддержкой оборудования.
Ключевые термины
- precision
- INT8
- INT4
- weight-only
Связи внутри проекта
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.