Inférence et déploiement
Décodage spéculatif
Une méthode d’inférence où un modèle brouillon plus rapide propose plusieurs jetons, vérifiés en parallèle par le modèle cible. Elle peut réduire la latence sans modifier la distribution cible.
Termes clés
- modèle brouillon (draft model)
- vérification (verification)
- latence (latency)
- échantillonnage exact (exact sampling)
Liens dans le projet
Repose sur
Utilisé par
Technologies liées
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.