Inferência e implantação
KV Cache
Um cache das chaves e valores de atenção de tokens anteriores durante a geração autorregressiva. Evita recalcular todo o prefixo, mas costuma consumir muita memória.
Termos-chave
- chaves (keys)
- valores (values)
- pré-preenchimento (prefill)
- descodificação (decode)
Ligações no projeto
Assenta em
Tecnologias relacionadas
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.