Inferencia y despliegue
KV Cache
Una caché de claves y valores de atención de tokens anteriores durante la generación autorregresiva. Evita recalcular todo el prefijo, pero suele consumir mucha memoria.
Términos clave
- keys
- values
- prefill
- decode
Conexiones en el proyecto
Se basa en
Tecnologías relacionadas
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.