Inférence et déploiement
Traitement continu par lots / PagedAttention
Des techniques de service qui ajoutent et retirent continuellement des requêtes tout en gérant le cache KV par pages. Elles améliorent utilisation et débit avec des charges de longueur variable.
Termes clés
- ordonnancement des requêtes (request scheduling)
- pagination de la mémoire (memory paging)
- débit (throughput)
- service (serving)
Liens dans le projet
Repose sur
Utilisé par
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.