训练与后训练
LoRA / QLoRA
在冻结基础权重时仅训练小型低秩适配器的参数高效微调方法。QLoRA 再结合量化基础模型,进一步降低显存需求。
关键术语
- low-rank adapters
- frozen base model
- 4-bit training
- PEFT
项目内关联
一手来源
这是经过选编的技术图谱,并非对 AI 技术的完整覆盖声明。
训练与后训练
在冻结基础权重时仅训练小型低秩适配器的参数高效微调方法。QLoRA 再结合量化基础模型,进一步降低显存需求。
这是经过选编的技术图谱,并非对 AI 技术的完整覆盖声明。