Entraînement et post-entraînement
LoRA / QLoRA
Des méthodes de réglage fin efficaces en paramètres qui entraînent de petits adaptateurs de faible rang en gelant le modèle de base. QLoRA ajoute une base quantifiée pour réduire encore la mémoire.
Termes clés
- low-rank adapters
- frozen base model
- 4-bit training
- PEFT
Liens dans le projet
Repose sur
Utilisé par
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.