Inferência e implantação
Continuous Batching / PagedAttention
Técnicas de serviço que admitem e concluem pedidos continuamente, gerindo o cache KV em páginas. Melhoram utilização e débito com cargas de comprimento variável.
Termos-chave
- request scheduling
- memory paging
- throughput
- serving
Ligações no projeto
Assenta em
Usado por
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.