Inferência e implantação
KV Cache
Um cache das chaves e valores de atenção de tokens anteriores durante a geração autorregressiva. Evita recalcular todo o prefixo, mas costuma consumir muita memória.
Termos-chave
- keys
- values
- prefill
- decode
Ligações no projeto
Assenta em
Tecnologias relacionadas
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.