Архитектура моделей
Mixture of Experts (MoE)
Семейство архитектур с маршрутизацией между экспертными подсетями. Современные разреженные варианты активируют лишь выбранных экспертов, увеличивая ёмкость без использования всех параметров для каждого токена.
Ключевые термины
- experts
- router
- sparse activation
- load balancing
Связи внутри проекта
Опирается на
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.