Entraînement et post-entraînement
LoRA / QLoRA
Des méthodes de réglage fin efficaces en paramètres qui entraînent de petits adaptateurs de faible rang en gelant le modèle de base. QLoRA ajoute une base quantifiée pour réduire encore la mémoire.
Termes clés
- adaptateurs de faible rang (low-rank adapters)
- modèle de base gelé (frozen base model)
- entraînement en 4 bits (4-bit training)
- PEFT
Liens dans le projet
Utilisé par
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.