Архитектура моделей
Смесь экспертов (MoE)
Семейство архитектур с маршрутизацией между экспертными подсетями. Современные разреженные варианты активируют лишь выбранных экспертов, увеличивая ёмкость без использования всех параметров для каждого токена.
Ключевые термины
- эксперты (experts)
- маршрутизатор (router)
- разреженная активация (sparse activation)
- балансировка нагрузки (load balancing)
Связи внутри проекта
Опирается на
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.