Inferência e implantação
Processamento contínuo em lotes / PagedAttention
Técnicas de serviço que admitem e concluem pedidos continuamente, gerindo o cache KV em páginas. Melhoram utilização e débito com cargas de comprimento variável.
Termos-chave
- escalonamento de pedidos (request scheduling)
- paginação de memória (memory paging)
- débito (throughput)
- serviço (serving)
Ligações no projeto
Assenta em
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.