Huấn luyện và hậu huấn luyện
LoRA / QLoRA
Các phương pháp tinh chỉnh tiết kiệm tham số, chỉ huấn luyện adapter hạng thấp nhỏ trong khi giữ cố định trọng số nền. QLoRA kết hợp adapter với mô hình nền lượng tử hóa để giảm thêm bộ nhớ.
Thuật ngữ chính
- adapter hạng thấp (low-rank adapters)
- mô hình nền được đóng băng (frozen base model)
- huấn luyện 4 bit (4-bit training)
- PEFT
Liên kết trong dự án
Được dùng bởi
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.