技術圖譜
AI 技術體系
從模型架構與訓練，到推論、部署和開放權重模型案例
一份連結研究思想、可訓練模型與可用系統的技術圖譜。每個詞條都會關聯論文、歷史時代、模型案例、工具與第一手來源。
模型架構
決定模型如何表示與轉換資訊的結構。
框架與表示
建立、訓練和執行模型所用的軟體與資料介面。
訓練與後訓練
塑造模型能力與行為的規模化、適配和偏好方法。
分散式訓練
將資料、參數、啟用值或計算拆分到多台裝置與節點的技術。它讓大型模型訓練成為可能，同時引入通訊、同步與容錯取捨。
- 資料平行
- 張量平行
- 管線平行
SFT / RLHF / DPO
一組用於訓練指令遵循與偏好對齊行為的後訓練方法。SFT 學習示範資料；RLHF 與 DPO 以不同最佳化過程利用偏好比較。
- 監督式微調
- 偏好資料
- 獎勵模型
推理與測試時運算
一類後訓練方法：讓模型在作答前先產生較長的推理軌跡，並在問題更難時於推論階段投入更多算力。可驗證獎勵的強化學習——由可核對的答案提供訓練訊號——使這條路線得以在封閉實驗室之外被重現。其代價值得直說：準確率來自生成長度而非更大的模型，代價是延遲與服務成本。
- 推理軌跡
- 可驗證獎勵
- 推理預算
LoRA / QLoRA
在凍結基礎權重時僅訓練小型低秩適配器的參數高效微調方法。QLoRA 再結合量化基礎模型，進一步降低記憶體需求。
- 低秩適配器
- 凍結的基礎模型
- 4 位元訓練
推論與部署
為模型提供服務所用的記憶體、排程、壓縮與執行環境技術。
量化
以較低數值精度表示權重、啟用值或快取。它可以降低記憶體、頻寬與計算成本，但需權衡精度和硬體支援。
- 精度
- INT8
- INT4
KV Cache
自回歸生成過程中保存先前詞元注意力鍵和值的快取。它避免重複計算完整前綴，但往往成為主要記憶體消耗項。
- 鍵
- 值
- 預填充
連續批次處理 / PagedAttention
在持續接納與移出請求的同時，以分頁方式管理 KV 快取的服務技術。兩者結合可提高變長工作負載下的利用率與吞吐量。
- 請求排程
- 記憶體分頁
- 吞吐量
推測解碼
由更快的草稿模型提出多個詞元，再由目標模型平行驗證的推論方法。它可在不改變目標分布的前提下降低生成延遲。
- 草稿模型
- 驗證
- 延遲
開放模型推論生態系
vLLM、llama.cpp 等引擎與執行環境將可下載模型權重轉化為本機或伺服器端推論能力。它們在吞吐量、硬體可攜性、模型格式與維運複雜度上的側重不同。
- vLLM
- llama.cpp
- GGUF
應用層
應用架構
模型透過工作流程、工具、上下文交換、安全邊界與評估成為可用產品。現有 MCP 和工具欄目負責這一應用層，避免在此重複內容。
開放模型案例
從程式碼、權重、訓練揭露與授權四個面向審視模型家族。
Llama
Meta 的可下載權重模型家族推動了本機推論與下游微調。其發布採用 Llama 專用條款，因此稱為「開放權重」比直接認定為 OSI 定義的開源更準確。
- 開放權重
- 社群授權
- 模型家族
Qwen
阿里巴巴的 Qwen 家族涵蓋稠密、專家路由、多語言與多模態模型。許多檢查點可公開下載，但授權與揭露情況應以具體模型卡為準。
- 多語言
- 稠密與 MoE
- 開放權重
Mistral / Mixtral
Mistral AI 的家族同時包含稠密 Mistral 模型和專家路由 Mixtral 模型。部分版本採用寬鬆授權，另一些並非如此，因此開放性需逐項判斷。
- 稠密模型
- MoE
- 開放權重
DeepSeek
DeepSeek 的可下載版本推動了對 MoE 設計、推理後訓練與高效服務的廣泛研究。程式碼與權重可能採用不同授權，訓練資料揭露又是獨立面向。
- MoE
- 推理
- 開放權重
Gemma
Google 的可下載權重模型家族將源自 Gemini 的研究連結到本機、邊緣與託管部署。Google 稱其為開放模型，但授權條款因發布版本而異。
- 開放權重
- 輕量模型
- 邊緣部署
OLMo
Ai2 發布的 OLMo 家族在權重之外，同時公開預訓練資料、訓練程式碼、中間檢查點與訓練紀錄。它是程式碼、權重、訓練揭露與授權條款這四項真正全部公開的案例，因而可以作為參照，用來衡量那些只發布權重的模型家族。
- 完全開放
- 開放訓練資料
- 中間檢查點
gpt-oss
OpenAI 的 gpt-oss-120b 與 20b 是可下載的 MoE 推理模型，面向本機與託管推論。Apache 2.0 權重與參考實作擴大了部署選擇，但預訓練資料集本身並未發布。
- 開放權重
- 推理
- MoE
GLM-5
智譜的 GLM-5 系列是面向推理、程式設計與長程智慧體任務的大型 MoE 語言模型家族。GLM-5 於2026年2月發布，5.1 在4月，5.2 在6月以 7530 億參數提供 100 萬詞元上下文視窗，5.3 在8月於同一基座上做後訓練改進。更小的 GLM-5.3-Flash 隨後發布，總參數 3200 億、啟用 180 億。較大成員的規模使自主部署需要較多運算資源。
- 開放權重
- MoE
- 長上下文
Kimi K3
月之暗面於2026年7月發布 Kimi K3：一個開放權重、原生多模態的 MoE 語言模型，擁有 2.8 兆總參數、1,040 億啟用參數和 100 萬詞元上下文視窗。它面向長程程式設計、知識工作與工具調用智慧體，但其規模使本機部署要求較高。
- 開放權重
- MoE
- 長上下文
這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。