技术图谱
AI 技术体系
从模型架构与训练，到推理、部署和开放权重模型案例
一份连接研究思想、可训练模型与可用系统的技术图谱。每个词条都会关联论文、历史时代、模型案例、工具与一手来源。
模型架构
决定模型如何表示与转换信息的结构。
框架与表示
构建、训练和运行模型所用的软件与数据接口。
训练与后训练
塑造模型能力与行为的规模化、适配和偏好方法。
分布式训练
将数据、参数、激活值或计算拆分到多台设备和节点的技术。它让大模型训练成为可能，同时引入通信、同步与容错权衡。
- 数据并行
- 张量并行
- 流水线并行
SFT / RLHF / DPO
一组用于训练指令遵循与偏好对齐行为的后训练方法。SFT 学习示范数据；RLHF 与 DPO 以不同优化过程利用偏好比较。
- 监督微调
- 偏好数据
- 奖励模型
推理与测试时计算
一类后训练方法：让模型在作答前先生成较长的推理轨迹，并在问题更难时于推理阶段投入更多算力。可验证奖励的强化学习——由可核对的答案提供训练信号——使这条路线得以在封闭实验室之外被复现。其代价值得直说：准确率来自生成长度而非更大的模型，代价是延迟与服务成本。
- 推理轨迹
- 可验证奖励
- 推理预算
LoRA / QLoRA
在冻结基础权重时仅训练小型低秩适配器的参数高效微调方法。QLoRA 再结合量化基础模型，进一步降低显存需求。
- 低秩适配器
- 冻结的基础模型
- 4 比特训练
推理与部署
为模型提供服务所用的内存、调度、压缩与运行时技术。
量化
以较低数值精度表示权重、激活值或缓存。它可以降低内存、带宽与计算成本，但需权衡精度和硬件支持。
- 精度
- INT8
- INT4
KV Cache
自回归生成过程中保存先前词元注意力键和值的缓存。它避免重复计算完整前缀，但往往成为主要内存消耗项。
- 键
- 值
- 预填充
连续批处理 / PagedAttention
在连续接纳与移出请求的同时，以分页方式管理 KV 缓存的服务技术。二者结合可提高变长工作负载下的利用率和吞吐量。
- 请求调度
- 内存分页
- 吞吐量
推测解码
由更快的草稿模型提出多个词元，再由目标模型并行验证的推理方法。它可在不改变目标分布的前提下降低生成延迟。
- 草稿模型
- 验证
- 延迟
开放模型推理生态
vLLM、llama.cpp 等引擎与运行时将可下载模型权重转化为本地或服务端推理能力。它们在吞吐量、硬件可移植性、模型格式与运维复杂度上的侧重点不同。
- vLLM
- llama.cpp
- GGUF
应用层
应用架构
模型通过工作流、工具、上下文交换、安全边界与评估成为可用产品。现有 MCP 和工具栏目负责这一应用层，避免在这里重复内容。
开放模型案例
从代码、权重、训练披露与许可证四个维度审视模型家族。
Llama
Meta 的可下载权重模型家族推动了本地推理与下游微调。其发布采用 Llama 专用条款，因此称为“开放权重”比直接认定为 OSI 定义的开源更准确。
- 开放权重
- 社区许可
- 模型家族
Qwen
阿里巴巴的 Qwen 家族涵盖稠密、专家路由、多语言与多模态模型。许多检查点可公开下载，但许可证和披露情况应以具体模型卡为准。
- 多语言
- 稠密与 MoE
- 开放权重
Mistral / Mixtral
Mistral AI 的家族同时包含稠密 Mistral 模型和专家路由 Mixtral 模型。部分版本采用宽松许可证，另一些并非如此，因此开放性需逐项判断。
- 稠密模型
- MoE
- 开放权重
DeepSeek
DeepSeek 的可下载版本推动了对 MoE 设计、推理后训练与高效服务的广泛研究。代码与权重可能采用不同许可证，训练数据披露又是独立维度。
- MoE
- 推理
- 开放权重
Gemma
Google 的可下载权重模型家族将源自 Gemini 的研究连接到本地、边缘与托管部署。Google 称其为开放模型，但许可证因发布版本而异。
- 开放权重
- 轻量模型
- 边缘部署
OLMo
Ai2 发布的 OLMo 家族在权重之外，同时公开预训练数据、训练代码、中间检查点与训练日志。它是代码、权重、训练披露与许可证这四项真正全部公开的案例，因而可以作为参照，用来衡量那些只发布权重的模型家族。
- 完全开放
- 开放训练数据
- 中间检查点
gpt-oss
OpenAI 的 gpt-oss-120b 与 20b 是可下载的 MoE 推理模型，面向本地和托管推理。Apache 2.0 权重与参考实现扩大了部署选择，但预训练数据集本身并未发布。
- 开放权重
- 推理
- MoE
GLM-5
智谱的 GLM-5 系列是面向推理、编程与长程智能体任务的大型 MoE 语言模型家族。GLM-5 于2026年2月发布，5.1 在4月，5.2 在6月以 7530 亿参数提供 100 万词元上下文窗口，5.3 在8月于同一基座上做后训练改进。更小的 GLM-5.3-Flash 随后发布，总参数 3200 亿、激活 180 亿。较大成员的规模使自主部署需要较多计算资源。
- 开放权重
- MoE
- 长上下文
Kimi K3
月之暗面于2026年7月发布 Kimi K3：一个开放权重、原生多模态的 MoE 语言模型，拥有 2.8 万亿总参数、1040 亿激活参数和 100 万词元上下文窗口。它面向长程编程、知识工作与工具调用智能体，但其规模使本地部署要求较高。
- 开放权重
- MoE
- 长上下文
这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。