Training und Nachtraining
LoRA / QLoRA
Parametereffiziente Feinabstimmung, bei der kleine Niedrigrang-Adapter trainiert und Basisgewichte eingefroren werden. QLoRA kombiniert Adapter mit einem quantisierten Basismodell und senkt den Speicherbedarf weiter.
Schlüsselbegriffe
- Niedrigrang-Adapter (low-rank adapters)
- eingefrorenes Basismodell (frozen base model)
- 4-Bit-Training (4-bit training)
- PEFT
Verknüpfungen im Projekt
Verwendet von
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.