Инференс и развёртывание
Непрерывный батчинг / PagedAttention
Методы обслуживания, непрерывно добавляющие и завершающие запросы и управляющие KV-кэшем постранично. Они повышают загрузку оборудования и пропускную способность при переменной длине запросов.
Ключевые термины
- планирование запросов (request scheduling)
- страничная организация памяти (memory paging)
- пропускная способность (throughput)
- обслуживание (serving)
Связи внутри проекта
Опирается на
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.