Puntos clave

  • vLLM v0.32.0 es una versión del motor de inferencia open source vLLM, publicada el 18 de octubre de 2026, con 814 commits de 363 contribuidores.
  • Incluye un nuevo endpoint /v1/systemone para decisiones estructuradas y un parser genérico de herramientas y razonamiento de Hugging Face.
  • Amplía la caché KV de baja precisión: NVFP4 en SM8x/90/12x, FP8 KV por defecto para GLM-5.x y KV de 4 bits en ROCm.
  • El código y las instrucciones están disponibles en el repositorio oficial en github.com; requiere conocimientos técnicos para su despliegue.

Datos rápidos

TipoMotor de inferencia open source para LLMs
DispositivosServidores con GPU NVIDIA, AMD ROCm y otros
PrecioGratuito y de código abierto
IdiomasInterfaz y documentación en inglés principalmente
Lo destacadoKV de baja precisión y endpoint estructurado
DificultadAlta; requiere experiencia en despliegue de LLMs
CategoríaHerramientas dev
CreadorvLLM
Sitio oficialgithub.com ↗
Popularidad🔥 191,9K Popularidad
Última actualización

Qué es vLLM v0.32.0 y por qué marca un antes y un después en inferencia

vLLM es un motor de inferencia de código abierto diseñado para servir modelos de lenguaje de forma eficiente. La versión v0.32.0, anunciada el 18 de octubre de 2026, representa un salto importante con 814 commits y la participación de 363 contribuidores, de los cuales 121 eran primerizos. Su objetivo es reducir el consumo de memoria GPU y mejorar el rendimiento al ejecutar modelos abiertos, algo crítico para quienes despliegan IA generativa a escala.

Esta entrega se centra en dos frentes: por un lado, amplía el soporte de caché KV de baja precisión para que modelos grandes quepan en GPUs más modestas; por otro, introduce un endpoint de decisión estructurada que facilita la integración con aplicaciones que necesitan respuestas controladas. Además, incorpora mejoras en el arranque y en el rendimiento general del servidor, con incrementos de solicitudes por segundo en configuraciones multiproceso.

La relevancia de vLLM v0.32.0 radica en que democratiza el acceso a la inferencia de alto rendimiento. Al reducir la memoria necesaria para la caché KV, los equipos pueden ejecutar modelos como GLM-5.x o familias de Hugging Face en hardware más asequible. Esto lo convierte en una opción atractiva tanto para startups como para investigadores que necesitan experimentar sin grandes presupuestos de infraestructura.

  • Caché KV de baja precisión

    Ahora soporta NVFP4 en GPUs SM8x, 90 y 12x, FP8 KV por defecto para GLM-5.x y KV de 4 bits en ROCm, reduciendo el uso de memoria.

  • Endpoint /v1/systemone

    Ofrece decisiones estructuradas, útil para flujos donde se requiere formato de salida predecible y validación.

  • Model Runner V2

    Incluye un especulador n-gram en GPU, Elastic EP, PP+CP para MLA y pasa a ser el predeterminado en ROCm.

  • Rendimiento mejorado

    El arranque es más rápido gracias a la descarga de kernels precompilados y la precarga de autotune, con incrementos de hasta 85% en req/s con workers multi-API.

Cómo funciona la caché KV de baja precisión y el nuevo endpoint estructurado

La caché KV (key-value) es una estructura que almacena estados intermedios de atención para evitar recalcularlos en cada token generado. Tradicionalmente usa precisión de 16 bits, lo que consume mucha memoria. vLLM v0.32.0 amplía su soporte para precisiones reducidas: NVFP4 en GPUs SM8x, 90 y 12x, FP8 por defecto para modelos GLM-5.x y 4 bits en ROCm. Esto reduce drásticamente la huella de memoria, permitiendo secuencias más largas o lotes más grandes en la misma GPU.

El endpoint /v1/systemone está pensado para aplicaciones que necesitan que el modelo tome decisiones estructuradas, como clasificar intenciones o seleccionar herramientas. A diferencia de una generación de texto libre, este endpoint devuelve una salida con formato predecible, lo que simplifica la integración con sistemas downstream. Se complementa con un parser genérico de herramientas y razonamiento de Hugging Face, que interpreta las respuestas del modelo y las convierte en acciones concretas.

Model Runner V2 introduce un especulador n-gram en GPU que acelera la decodificación al predecir tokens futuros basándose en secuencias previas. También añade Elastic EP para escalar el paralelismo experto de forma dinámica, y PP+CP para atención multi-cabeza latente (MLA). En ROCm, Model Runner V2 es ahora el predeterminado, lo que beneficia a quienes usan GPUs AMD. Estas mejoras se traducen en un mejor aprovechamiento del hardware y menor latencia.

  • NVFP4 en SM8x/90/12x

    Formato de 4 bits que reduce el ancho de banda de memoria y permite ejecutar modelos más grandes en GPUs con menos VRAM.

  • FP8 KV por defecto para GLM-5.x

    Los modelos GLM-5.x ahora usan caché KV en FP8 sin configuración adicional, equilibrando precisión y ahorro de memoria.

  • 4 bits en ROCm

    En GPUs AMD con ROCm, la caché KV puede almacenarse en 4 bits, ampliando las opciones de implementación.

  • Especulador n-gram

    Acelera la generación al predecir secuencias probables, reduciendo el número de pasos de decodificación necesarios.

Cómo instalar y empezar a usar vLLM v0.32.0 paso a paso

Para comenzar, necesitas un entorno con Python y una GPU compatible. vLLM se distribuye como paquete de Python y también ofrece imágenes de contenedor. La instalación típica se realiza con pip, aunque para aprovechar las optimizaciones de bajo nivel se recomienda seguir las instrucciones del repositorio oficial en github.com, donde se detallan los requisitos según el tipo de GPU (NVIDIA, AMD ROCm, etc.).

Una vez instalado, puedes iniciar el servidor con el comando vllm serve y especificar el modelo que deseas cargar. Para beneficiarte de la caché KV de baja precisión, debes activar las banderas correspondientes, como --kv-cache-dtype fp8 o nvfp4, según tu hardware. Es importante consultar la documentación para conocer qué combinaciones están soportadas en tu GPU, ya que no todas las arquitecturas admiten todos los formatos.

Antes de poner el servidor en producción, realiza una prueba de rendimiento para comparar el uso de memoria y la velocidad antes y después de habilitar la caché de baja precisión. Puedes usar herramientas como benchmark_serving.py incluida en el repositorio. También verifica que el endpoint /v1/systemone funcione correctamente si planeas usarlo, y revisa los cambios de seguridad incluidos en esta versión para proteger tu despliegue.

  • Requisitos previos

    Python 3.9 o superior, GPU compatible con CUDA o ROCm, y controladores actualizados. Consulta la matriz de compatibilidad en el repositorio.

  • Instalación con pip

    Ejecuta pip install vllm para la versión estable. Para funciones específicas de v0.32.0, asegúrate de instalar exactamente esa versión.

  • Configuración de KV de baja precisión

    Usa el flag --kv-cache-dtype con el valor adecuado (fp8, nvfp4, etc.) al lanzar el servidor. Verifica el soporte en tu GPU.

  • Prueba de rendimiento

    Ejecuta benchmarks con y sin la caché de baja precisión para cuantificar el ahorro de memoria y las ganancias de velocidad.

Casos de uso, comparativas y limitaciones de vLLM v0.32.0

vLLM v0.32.0 brilla en escenarios de despliegue de modelos abiertos a gran escala, como chatbots, generación de código o análisis de documentos. Su capacidad para reducir la memoria de la caché KV permite servir modelos de 7B a 70B en GPUs de gama media, algo que antes requería hardware más caro. También es útil en investigación, donde se necesita iterar rápidamente con diferentes modelos y configuraciones sin invertir en infraestructura costosa.

En comparación con alternativas como TensorRT-LLM o Text Generation Inference, vLLM se distingue por su facilidad de uso y su enfoque en la eficiencia de memoria mediante PagedAttention. Mientras que TensorRT-LLM requiere compilación de motores específicos, vLLM ofrece una experiencia más directa con Python. Sin embargo, TensorRT-LLM puede lograr un rendimiento ligeramente superior en GPUs NVIDIA altamente optimizadas. La elección depende de tus prioridades: flexibilidad y comunidad frente a máximo rendimiento.

Entre las limitaciones, vLLM v0.32.0 sigue requiriendo conocimientos técnicos para su instalación y ajuste. No todas las GPUs soportan los formatos de baja precisión, y la configuración de Model Runner V2 puede ser compleja. Además, el endpoint /v1/systemone es nuevo y su documentación podría ser escasa; conviene probarlo en un entorno controlado antes de usarlo en producción. Para quienes buscan una solución llave en mano, quizá sea más adecuado un servicio en la nube, pero para control total, vLLM es una excelente opción.

  • Comparativa con TensorRT-LLM

    TensorRT-LLM ofrece máximo rendimiento en NVIDIA pero requiere compilación; vLLM es más flexible y fácil de integrar en Python.

  • Comparativa con Text Generation Inference

    TGI es más sencillo pero menos eficiente en memoria; vLLM destaca por su PagedAttention y soporte de baja precisión.

  • Limitación de hardware

    Los formatos NVFP4 y 4 bits en ROCm solo están disponibles en GPUs específicas; verifica la compatibilidad antes de confiar en el ahorro de memoria.

  • Curva de aprendizaje

    La configuración avanzada, como Elastic EP o PP+CP, requiere experiencia en paralelismo distribuido y ajuste de rendimiento.

Guía paso a paso

  1. Clona el repositorio oficial

    Accede a github.com y busca el repositorio de vLLM. Clona la rama correspondiente a la versión v0.32.0 o descarga el código fuente. Asegúrate de tener Git instalado y de contar con los permisos necesarios.

  2. Instala las dependencias

    Crea un entorno virtual con Python 3.9 o superior. Ejecuta pip install -e . para instalar en modo desarrollo, o sigue las instrucciones del archivo README para una instalación estándar. Verifica que las bibliotecas de CUDA o ROCm estén correctamente configuradas.

  3. Configura el servidor con KV de baja precisión

    Al lanzar el servidor con vllm serve, añade el flag --kv-cache-dtype fp8 o nvfp4 según tu GPU. Consulta la documentación para conocer los valores admitidos. Si usas GLM-5.x, el FP8 KV se aplica por defecto, pero puedes sobrescribirlo si es necesario.

  4. Prueba el endpoint /v1/systemone

    Realiza una petición HTTP al endpoint /v1/systemone con un prompt estructurado para verificar que devuelve decisiones en el formato esperado. Ajusta el parser genérico de Hugging Face si necesitas interpretar herramientas o razonamiento. Revisa los ejemplos en la documentación oficial.

  5. Mide el rendimiento y ajusta

    Ejecuta pruebas de carga con herramientas como benchmark_serving.py. Compara el uso de memoria y las solicitudes por segundo antes y después de habilitar la caché de baja precisión. Ajusta los parámetros de Model Runner V2 (Elastic EP, PP+CP) según los resultados obtenidos.

Preguntas frecuentes

¿vLLM v0.32.0 es gratuito?

Sí, vLLM es un proyecto de código abierto y su uso es gratuito. Puedes descargar el código fuente y las instrucciones desde el repositorio oficial en github.com. No hay costes de licencia, aunque deberás asumir los costes del hardware y la infraestructura donde lo ejecutes. Consulta la licencia específica en el repositorio para conocer los términos exactos.

¿Qué GPUs son compatibles con la caché KV de baja precisión?

La versión v0.32.0 soporta NVFP4 en GPUs con arquitecturas SM8x, SM90 y SM12x, FP8 KV por defecto para modelos GLM-5.x y KV de 4 bits en GPUs AMD con ROCm. No todas las GPUs admiten todos los formatos, por lo que debes verificar la compatibilidad en la documentación oficial. Si tu GPU no aparece listada, es posible que no puedas aprovechar estas optimizaciones.

¿Cómo puedo activar la caché KV de baja precisión?

Al iniciar el servidor con vllm serve, utiliza el flag --kv-cache-dtype seguido del formato deseado, como fp8 o nvfp4. Para GLM-5.x, el FP8 KV se activa automáticamente. Asegúrate de que tu GPU soporte el formato elegido y realiza una prueba de rendimiento para confirmar el ahorro de memoria. La documentación del repositorio ofrece ejemplos detallados.

¿Qué es el endpoint /v1/systemone y para qué sirve?

Es un nuevo endpoint que permite obtener decisiones estructuradas del modelo, útil para clasificación, enrutamiento o selección de herramientas. Devuelve una salida con formato predecible, lo que facilita la integración con otros sistemas. Se complementa con un parser genérico de Hugging Face que interpreta las respuestas. Al ser una función reciente, conviene probarla en un entorno de desarrollo antes de usarla en producción.

¿vLLM v0.32.0 es seguro para producción?

La versión incluye tres correcciones de seguridad y un endurecimiento de CORS, lo que mejora la postura de seguridad respecto a versiones anteriores. Sin embargo, como en cualquier software, es recomendable revisar las notas de la versión y aplicar buenas prácticas de despliegue, como aislar el servicio y mantener las dependencias actualizadas. Para entornos críticos, realiza una auditoría de seguridad antes de exponerlo públicamente.