Инференс и развёртывание
Continuous Batching / PagedAttention
Методы обслуживания, непрерывно добавляющие и завершающие запросы и управляющие KV-кэшем постранично. Они повышают загрузку оборудования и пропускную способность при переменной длине запросов.
Ключевые термины
- request scheduling
- memory paging
- throughput
- serving
Связи внутри проекта
Опирается на
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.