모델 아키텍처
Mixture of Experts (MoE)
라우팅된 전문가 하위 네트워크를 조합하는 아키텍처 계열이다. 현대의 희소 변형은 입력마다 일부 전문가만 활성화해 모든 토큰에서 전체 매개변수를 쓰지 않고도 용량을 늘린다.
핵심 용어
- experts
- router
- sparse activation
- load balancing
프로젝트 내 연결
1차 출처
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.
모델 아키텍처
라우팅된 전문가 하위 네트워크를 조합하는 아키텍처 계열이다. 현대의 희소 변형은 입력마다 일부 전문가만 활성화해 모든 토큰에서 전체 매개변수를 쓰지 않고도 용량을 늘린다.
선별한 기술 지도이며 AI 기술을 완전히 망라한다는 뜻이 아니다.