Inferencia y despliegue
Ecosistema de inferencia de modelos abiertos
Motores y entornos como vLLM y llama.cpp convierten pesos descargables en inferencia local o de servidor. Sus prioridades varían entre rendimiento, portabilidad de hardware, formatos y complejidad operativa.
Términos clave
- vLLM
- llama.cpp
- GGUF
- inferencia local (local inference)
Conexiones en el proyecto
Tecnologías relacionadas
Contexto histórico
Secciones relacionadas
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.