모델 아키텍처
전문가 혼합 (MoE)
라우팅된 전문가 하위 네트워크를 조합하는 아키텍처 계열이다. 현대의 희소 변형은 입력마다 일부 전문가만 활성화해 모든 토큰에서 전체 매개변수를 쓰지 않고도 용량을 늘린다.
핵심 용어
- 전문가 (experts)
- 라우터 (router)
- 희소 활성화 (sparse activation)
- 부하 분산 (load balancing)
프로젝트 내 연결
기반 기술
관련 기술
역사적 맥락
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.