Inferencia y despliegue
Procesamiento continuo por lotes / PagedAttention
Técnicas de servicio que incorporan y retiran solicitudes continuamente mientras gestionan la caché KV por páginas. Mejoran utilización y rendimiento con cargas de longitud variable.
Términos clave
- planificación de solicitudes (request scheduling)
- paginación de memoria (memory paging)
- rendimiento (throughput)
- servicio (serving)
Conexiones en el proyecto
Se basa en
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.