繁體中文
返回 AI 技術體系

訓練與後訓練

LoRA / QLoRA

在凍結基礎權重時僅訓練小型低秩適配器的參數高效微調方法。QLoRA 再結合量化基礎模型，進一步降低記憶體需求。

時間節點
2021 / 2023
最近審查

關鍵術語

  • 低秩適配器（low-rank adapters）
  • 凍結的基礎模型（frozen base model）
  • 4 位元訓練（4-bit training）
  • PEFT

專案內關聯

基於

被用於

相關技術

相關論文

歷史背景

第一手來源

  1. LoRA
  2. QLoRA

這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。