अनुमान और तैनाती
Open-model Inference Ecosystem
vLLM और llama.cpp जैसे इंजन और रनटाइम डाउनलोड किए जा सकने वाले मॉडल भारों को स्थानीय या सर्वर अनुमान में बदल देते हैं। निर्गम, हार्डवेयर पोर्टेबिलिटी, मॉडल प्रारूप और संचालन की जटिलता के मामले में इनकी प्राथमिकताएँ अलग-अलग हैं।
मुख्य शब्द
- vLLM
- llama.cpp
- GGUF
- local inference
पूरी परियोजना में जुड़ाव
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
संबंधित अनुभाग
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।