الاستدلال والنشر
Open-model Inference Ecosystem
محرّكات وأزمنة تشغيل مثل vLLM وllama.cpp تحوّل أوزان النماذج القابلة للتنزيل إلى استدلال محلي أو خادمي. وتختلف أولوياتها بين الإنتاجية وقابلية النقل بين العتاد وصيغ النماذج والتعقيد التشغيلي.
المصطلحات الأساسية
- vLLM
- llama.cpp
- GGUF
- local inference
الروابط عبر المشروع
تقنيات ذات صلة
السياق التاريخي
أقسام ذات صلة
المصادر الأولية
هذه خريطة تقنية منتقاة، لا ادّعاء بتغطية شاملة.