학습과 사후 학습
LoRA / QLoRA
기본 가중치를 고정하고 작은 저랭크 어댑터만 학습하는 매개변수 효율적 미세 조정 기법이다. QLoRA는 양자화된 기본 모델을 결합해 메모리 사용을 더 줄인다.
핵심 용어
- 저랭크 어댑터 (low-rank adapters)
- 고정된 기반 모델 (frozen base model)
- 4비트 학습 (4-bit training)
- PEFT
프로젝트 내 연결
이를 쓰는 기술
관련 기술
역사적 맥락
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.