Inferenza e distribuzione
Batching continuo / PagedAttention
Tecniche di serving che ammettono e completano continuamente richieste gestendo la cache KV a pagine. Migliorano utilizzo e throughput con carichi di lunghezza variabile.
Termini chiave
- pianificazione delle richieste (request scheduling)
- paginazione della memoria (memory paging)
- throughput
- serving
Collegamenti nel progetto
Si basa su
Tecnologie correlate
Articoli correlati
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.