Inferência e implantação
Descodificação especulativa
Um método de inferência em que um modelo de rascunho mais rápido propõe vários tokens e o modelo-alvo os verifica em paralelo. Pode reduzir latência sem alterar a distribuição-alvo.
Termos-chave
- modelo de rascunho (draft model)
- verificação (verification)
- latência (latency)
- amostragem exata (exact sampling)
Ligações no projeto
Assenta em
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.