Обучение и постобучение
LoRA / QLoRA
Параметрически эффективные методы дообучения небольших низкоранговых адаптеров при замороженных базовых весах. QLoRA сочетает адаптеры с квантованной базовой моделью для дополнительной экономии памяти.
Ключевые термины
- низкоранговые адаптеры (low-rank adapters)
- замороженная базовая модель (frozen base model)
- 4-битное обучение (4-bit training)
- PEFT
Связи внутри проекта
Опирается на
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.