ГРАФ ТЕХНОЛОГИЙ
Технологии ИИ
От архитектуры и обучения до инференса, развёртывания и примеров моделей с открытыми весами
Кураторская карта технических слоёв, превращающих исследовательские идеи в обучаемые модели и применимые системы. Каждая запись связана со статьями, историей, моделями, инструментами и первичными источниками.
Архитектура моделей
Структуры, определяющие представление и преобразование информации моделью.
Transformer
Нейросетевая архитектура на основе механизма внимания, параллельно обрабатывающая позиции последовательности. Она стала основой многих современных языковых и мультимодальных моделей.
- самовнимание
- кодировщик
- декодер
Смесь экспертов (MoE)
Семейство архитектур с маршрутизацией между экспертными подсетями. Современные разреженные варианты активируют лишь выбранных экспертов, увеличивая ёмкость без использования всех параметров для каждого токена.
- эксперты
- маршрутизатор
- разреженная активация
Диффузионная модель
Генеративная модель, обучающаяся обращать постепенный процесс добавления шума. Итеративное удаление шума стало важным методом генерации изображений, аудио, видео и мультимодального контента.
- прямое зашумление
- удаление шума
- сопоставление оценок
Фреймворки и представление
Программные и информационные интерфейсы для создания, обучения и запуска моделей.
PyTorch
Фреймворк с открытым исходным кодом для тензорных вычислений и глубокого обучения, включающий автоматическое дифференцирование, нейросетевые модули, компиляцию и распределённое выполнение.
- тензор
- autograd
- модуль
Hugging Face Transformers
Библиотека определений моделей, связывающая предобученные архитектуры с экосистемами обучения и инференса. Она унифицирует конфигурацию, предобработку, загрузку, генерацию и интерфейсы задач.
- определения моделей
- предобученные контрольные точки
- Trainer
Токенизация
Преобразование исходного текста в дискретные единицы, обрабатываемые моделью. Словарь и сегментация влияют на длину последовательности, многоязычность, стоимость и поведение.
- токен
- словарь
- BPE
Обучение и постобучение
Методы масштабирования, адаптации и предпочтений, формирующие способности и поведение.
Распределённое обучение
Методы распределения данных, параметров, активаций или вычислений между устройствами и узлами. Они позволяют обучать крупные модели, но требуют компромиссов в коммуникации, синхронизации и отказоустойчивости.
- параллелизм данных
- тензорный параллелизм
- конвейерный параллелизм
SFT / RLHF / DPO
Семейство методов постобучения для следования инструкциям и согласования с предпочтениями. SFT учится на демонстрациях, а RLHF и DPO используют сравнения предпочтений через разные процедуры оптимизации.
- контролируемое дообучение
- данные о предпочтениях
- модель вознаграждения
Рассуждение и вычисления на этапе вывода
Дообучение, которое учит модель порождать длинную цепочку рассуждения перед ответом и тратить больше вычислений на этапе вывода, когда задача сложнее. Обучение с подкреплением на проверяемых наградах — когда сигнал даёт ответ, поддающийся проверке, — сделало этот путь воспроизводимым за пределами закрытых лабораторий. Размен стоит назвать прямо: точность достигается длиной генерации, а не увеличением модели, и оплачивается задержкой и стоимостью обслуживания.
- трассы рассуждений
- проверяемые награды
- бюджет инференса
LoRA / QLoRA
Параметрически эффективные методы дообучения небольших низкоранговых адаптеров при замороженных базовых весах. QLoRA сочетает адаптеры с квантованной базовой моделью для дополнительной экономии памяти.
- низкоранговые адаптеры
- замороженная базовая модель
- 4-битное обучение
Инференс и развёртывание
Методы управления памятью, планирования, сжатия и выполнения для обслуживания моделей.
Квантование
Представление весов, активаций или кэшей с пониженной числовой точностью. Оно сокращает память, пропускную способность и вычисления, но требует компромисса с точностью и поддержкой оборудования.
- точность
- INT8
- INT4
KV Cache
Кэш ключей и значений внимания предыдущих токенов при авторегрессионной генерации. Он устраняет повторный расчёт всего префикса, но часто становится крупным потребителем памяти.
- ключи
- значения
- предзаполнение
Непрерывный батчинг / PagedAttention
Методы обслуживания, непрерывно добавляющие и завершающие запросы и управляющие KV-кэшем постранично. Они повышают загрузку оборудования и пропускную способность при переменной длине запросов.
- планирование запросов
- страничная организация памяти
- пропускная способность
Спекулятивное декодирование
Метод инференса, при котором быстрая черновая модель предлагает несколько токенов, а целевая модель проверяет их параллельно. Он снижает задержку без изменения целевого распределения.
- черновая модель
- проверка
- задержка
Экосистема инференса открытых моделей
Движки и среды выполнения, такие как vLLM и llama.cpp, превращают доступные веса в локальный или серверный инференс. Их приоритеты различаются по пропускной способности, переносимости, форматам и сложности эксплуатации.
- vLLM
- llama.cpp
- GGUF
ПРИКЛАДНОЙ УРОВЕНЬ
Прикладная архитектура
Модели превращаются в продукты благодаря рабочим процессам, инструментам, обмену контекстом, ограничениям и оценке. Существующие разделы MCP и инструментов покрывают этот слой без дублирования.
Примеры открытых моделей
Семейства, рассмотренные по коду, весам, раскрытию обучения и лицензии.
Llama
Семейство Meta с доступными для скачивания весами расширило локальный инференс и дообучение. Из-за специальных условий Llama точнее говорить об открытых весах, а не автоматически считать модель открытой по определению OSI.
- открытые веса
- общественная лицензия
- семейство моделей
Qwen
Семейство Qwen компании Alibaba включает плотные, экспертные, многоязычные и мультимодальные выпуски. Многие контрольные точки доступны, но лицензию и раскрытие следует проверять по карточке каждой модели.
- многоязычность
- плотные и MoE
- открытые веса
Mistral / Mixtral
Семейство Mistral AI включает плотные модели Mistral и экспертные Mixtral. Одни выпуски имеют разрешительные лицензии, другие нет, поэтому открытость оценивается для каждого артефакта.
- плотные модели
- MoE
- открытые веса
DeepSeek
Доступные выпуски DeepSeek расширили исследования MoE, постобучения рассуждениям и эффективного обслуживания. Код и веса могут иметь разные лицензии, а раскрытие обучающих данных — отдельный параметр.
- MoE
- рассуждение
- открытые веса
Gemma
Семейство Google с доступными весами связывает исследования Gemini с локальным, периферийным и облачным развёртыванием. Google называет модели открытыми, но лицензии различаются в зависимости от выпуска.
- открытые веса
- лёгкие модели
- развёртывание на периферии
OLMo
Ai2 публикует семейство OLMo вместе с данными предобучения, кодом обучения, промежуточными контрольными точками и журналами, а не только с весами. Это случай, когда все четыре вещи, которые стоит проверять по отдельности, — код, веса, раскрытие обучения и лицензия — действительно опубликованы, что делает его ориентиром на фоне семейств, выпускающих только веса.
- полностью открытый
- открытые обучающие данные
- промежуточные контрольные точки
gpt-oss
gpt-oss-120b и 20b от OpenAI — загружаемые MoE-модели рассуждений для локального и серверного инференса. Веса и эталонные реализации под Apache 2.0 расширяют варианты развёртывания, но сам набор предобучения не опубликован.
- открытые веса
- рассуждение
- MoE
GLM-5
Серия GLM-5 от Z.ai — большое семейство языковых моделей MoE для рассуждения, программирования и длительной агентной работы. GLM-5 вышла в феврале 2026 года, 5.1 в апреле, 5.2 в июне с 753 миллиардами параметров и контекстным окном в миллион токенов, а 5.3 в августе на той же основе с изменениями после обучения; меньшая GLM-5.3-Flash появилась несколькими днями позже с 320 миллиардами параметров всего и 18 миллиардами активных. Масштаб старших моделей делает самостоятельное размещение ресурсоёмким.
- открытые веса
- MoE
- длинный контекст
Kimi K3
Moonshot AI выпустила Kimi K3 в июле 2026 года: мультимодальную языковую MoE-модель с открытыми весами, 2,8 трлн параметров всего, 104 млрд активных и контекстом в миллион токенов. Она рассчитана на длительные задачи программирования, интеллектуальную работу и агентов с инструментами, но локальное развёртывание требовательно.
- открытые веса
- MoE
- длинный контекст
Это отобранная техническая карта, а не заявление о полном охвате.