Обучение и постобучение
LoRA / QLoRA
Параметрически эффективные методы дообучения небольших низкоранговых адаптеров при замороженных базовых весах. QLoRA сочетает адаптеры с квантованной базовой моделью для дополнительной экономии памяти.
Ключевые термины
- low-rank adapters
- frozen base model
- 4-bit training
- PEFT
Связи внутри проекта
Опирается на
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.