繁體中文
返回 AI 技術體系

推論與部署

開放模型推論生態系

vLLM、llama.cpp 等引擎與執行環境將可下載模型權重轉化為本機或伺服器端推論能力。它們在吞吐量、硬體可攜性、模型格式與維運複雜度上的側重不同。

時間節點
2023–present
最近審查

關鍵術語

  • vLLM
  • llama.cpp
  • GGUF
  • 本機推論（local inference）

專案內關聯

基於

被用於

相關技術

歷史背景

相關欄目

第一手來源

  1. vLLM documentation
  2. llama.cpp

這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。