繁體中文
← 返回 AI 技術體系

推論與部署

Open-model Inference Ecosystem

vLLM、llama.cpp 等引擎與執行環境將可下載模型權重轉化為本機或伺服器端推論能力。它們在吞吐量、硬體可攜性、模型格式與維運複雜度上的側重不同。

時間節點
2023–present
最近審查

關鍵術語

  • vLLM
  • llama.cpp
  • GGUF
  • local inference

專案內關聯

基於

被用於

相關技術

歷史背景

相關欄目

第一手來源

  1. vLLM documentation
  2. llama.cpp

這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。