การฝึกและหลังการฝึก
LoRA / QLoRA
วิธีปรับแต่งที่ประหยัดพารามิเตอร์ โดยฝึกอะแดปเตอร์อันดับต่ำขนาดเล็กและตรึงน้ำหนักฐานไว้ QLoRA ใช้ร่วมกับโมเดลฐานที่ทำ quantization เพื่อลดหน่วยความจำยิ่งขึ้น
คำสำคัญ
- อะแดปเตอร์อันดับต่ำ (low-rank adapters)
- โมเดลฐานที่ถูกตรึง (frozen base model)
- การฝึกแบบ 4 บิต (4-bit training)
- PEFT
ความเชื่อมโยงในโครงการ
ตั้งอยู่บน
ถูกใช้โดย
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด