Inferencia y despliegue
Open-model Inference Ecosystem
Motores y entornos como vLLM y llama.cpp convierten pesos descargables en inferencia local o de servidor. Sus prioridades varían entre rendimiento, portabilidad de hardware, formatos y complejidad operativa.
Términos clave
- vLLM
- llama.cpp
- GGUF
- local inference
Conexiones en el proyecto
Tecnologías relacionadas
Contexto histórico
Secciones relacionadas
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.