학습과 사후 학습
LoRA / QLoRA
기본 가중치를 고정하고 작은 저랭크 어댑터만 학습하는 매개변수 효율적 미세 조정 기법이다. QLoRA는 양자화된 기본 모델을 결합해 메모리 사용을 더 줄인다.
핵심 용어
- low-rank adapters
- frozen base model
- 4-bit training
- PEFT
프로젝트 내 연결
이를 쓰는 기술
관련 기술
역사적 맥락
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.
학습과 사후 학습
기본 가중치를 고정하고 작은 저랭크 어댑터만 학습하는 매개변수 효율적 미세 조정 기법이다. QLoRA는 양자화된 기본 모델을 결합해 메모리 사용을 더 줄인다.
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.