Инференс и развёртывание
KV Cache
Кэш ключей и значений внимания предыдущих токенов при авторегрессионной генерации. Он устраняет повторный расчёт всего префикса, но часто становится крупным потребителем памяти.
Ключевые термины
- keys
- values
- prefill
- decode
Связи внутри проекта
Опирается на
Связанные технологии
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.