Training und Nachtraining
LoRA / QLoRA
Parametereffiziente Feinabstimmung, bei der kleine Niedrigrang-Adapter trainiert und Basisgewichte eingefroren werden. QLoRA kombiniert Adapter mit einem quantisierten Basismodell und senkt den Speicherbedarf weiter.
Schlüsselbegriffe
- low-rank adapters
- frozen base model
- 4-bit training
- PEFT
Verknüpfungen im Projekt
Verwendet von
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.