अनुमान और तैनाती
खुले मॉडलों का अनुमान-पारितंत्र
vLLM और llama.cpp जैसे इंजन और रनटाइम डाउनलोड किए जा सकने वाले मॉडल भारों को स्थानीय या सर्वर अनुमान में बदल देते हैं। निर्गम, हार्डवेयर पोर्टेबिलिटी, मॉडल प्रारूप और संचालन की जटिलता के मामले में इनकी प्राथमिकताएँ अलग-अलग हैं।
मुख्य शब्द
- vLLM
- llama.cpp
- GGUF
- स्थानीय अनुमान (local inference)
पूरी परियोजना में जुड़ाव
संबंधित प्रौद्योगिकी
ऐतिहासिक संदर्भ
संबंधित अनुभाग
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।