Инференс и развёртывание
KV Cache
Кэш ключей и значений внимания предыдущих токенов при авторегрессионной генерации. Он устраняет повторный расчёт всего префикса, но часто становится крупным потребителем памяти.
Ключевые термины
- ключи (keys)
- значения (values)
- предзаполнение (prefill)
- декодирование (decode)
Связи внутри проекта
Опирается на
Связанные технологии
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.