Inferencia y despliegue
KV Cache
Una caché de claves y valores de atención de tokens anteriores durante la generación autorregresiva. Evita recalcular todo el prefijo, pero suele consumir mucha memoria.
Términos clave
- claves (keys)
- valores (values)
- prellenado (prefill)
- decodificación (decode)
Conexiones en el proyecto
Se basa en
Tecnologías relacionadas
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.