核心要点速览

  • vLLM v0.32.0 是开源推理引擎的新版本，包含 814 次提交、363 位贡献者，并新增 /v1/systemone 结构化决策接口。
  • 低精度 KV 缓存覆盖 NVFP4（SM8x/90/12x）、GLM-5.x 默认 FP8 KV 以及 ROCm 上的 4 位 KV，可显著降低显存占用。
  • Model Runner V2 引入 GPU n-gram 推测器、弹性 EP 和 PP+CP for MLA，并在 ROCm 上成为默认选项。
  • 启动与服务性能提升：预编译内核下载、自动调优预加载，多 API worker 下请求吞吐提升 43–85%。

项目速览

类型/定位开源大模型推理引擎
适用设备支持 NVIDIA GPU（SM8x/90/12x）及 ROCm 平台
费用说明开源免费，具体许可请查看官方仓库
语言支持Python 接口，支持多语言模型
核心亮点结构化决策接口、低精度 KV 缓存、Model Runner V2
使用门槛需要熟悉 Python 与 GPU 环境配置
分类开发与工具
作者 / 发布方vLLM
官方网站github.com ↗
热度🔥 热度 19万
最后更新

vLLM v0.32.0 是什么：开源推理引擎的又一次大版本迭代

vLLM 是一个广受欢迎的开源大语言模型推理引擎，专注于高吞吐、低延迟地部署开源模型。v0.32.0 是该项目于 2026 年 10 月 18 日发布的新版本，汇集了 814 次提交、363 位贡献者，其中还包括 121 位首次参与贡献的开发者。这一版本延续了 vLLM 一贯的工程优化路线，同时在接口能力和硬件适配上做了明显扩展。

对于普通读者来说，可以把它理解为一个“让大模型跑得更快、更省显存”的底层工具。它不直接提供聊天界面，而是作为服务端引擎，把模型加载到 GPU 上并对外提供 API。开发者可以用它来搭建自己的模型服务、做批量推理或进行模型评测。最近这个版本在开发者社区中讨论度很高，主要因为它在低精度缓存和结构化输出方面带来了实用改进。

与上一个版本相比，v0.32.0 的重点不在于单一模型的适配，而是系统性的能力提升：新增结构化决策端点、扩展低精度 KV 缓存覆盖范围、引入 Model Runner V2 并优化启动流程。这些改动共同指向一个目标——让开源模型在生产环境中的部署成本更低、响应更快。

  • 版本规模

    814 次提交、363 位贡献者，其中 121 位是首次贡献者，社区参与度很高。

  • 发布节奏

    vLLM 项目保持较快的迭代频率，v0.32.0 是 2026 年 10 月的最新版本。

  • 定位差异

    它本身不是聊天产品，而是面向开发者的推理服务引擎，需要自行部署。

核心功能拆解：结构化决策接口与低精度 KV 缓存

v0.32.0 最引人注目的新功能是 /v1/systemone 结构化决策端点。传统推理接口通常返回自由文本，而结构化决策端点允许模型按照预定义格式输出决策结果，方便下游系统直接解析。同时，版本还引入了通用的 Hugging Face 工具解析器和推理解析器，这意味着使用 Hugging Face 格式的模型可以更统一地处理工具调用和思维链输出，减少为每个模型单独写适配代码的麻烦。

低精度 KV 缓存是本次更新的另一大亮点。KV 缓存是推理过程中占用显存的主要部分之一，降低其精度可以在几乎不影响效果的前提下显著减少显存占用。v0.32.0 将 NVFP4 支持扩展到了 SM8x、SM90 和 SM12x 等 GPU 架构，为 GLM-5.x 系列模型默认启用 FP8 KV 缓存，并在 ROCm 平台上支持 4 位 KV 缓存。对于显存有限的开发者来说，这意味着可以在单卡上运行更大的模型或更长的上下文。

Model Runner V2 在本次版本中获得了多项增强：新增 GPU n-gram 推测器，可以利用 GPU 进行推测解码以加速生成；支持弹性 EP（专家并行）和 PP+CP for MLA，提升多卡场景下的扩展性；并且在 ROCm 平台上成为默认选项。此外，启动与服务性能也有优化，包括预编译内核下载和自动调优预加载，官方数据显示在多 API worker 场景下请求吞吐提升 43–85%。

  • 结构化决策端点

    /v1/systemone 端点让模型输出结构化决策，便于程序直接消费，减少后处理逻辑。

  • 低精度 KV 缓存

    NVFP4 覆盖 SM8x/90/12x，GLM-5.x 默认 FP8 KV，ROCm 支持 4 位 KV，显著节省显存。

  • Model Runner V2

    GPU n-gram 推测器、弹性 EP、PP+CP for MLA，并在 ROCm 上成为默认。

  • 新模型支持

    新增 EmbeddingGemma 2、MiniCPM-V 4.7 和 Nemotron 3.5 ASR 等模型支持。

如何安装与启用新特性：从拉取代码到基准测试

vLLM v0.32.0 的源代码和安装说明托管在 GitHub 上的官方仓库中，开发者可以通过 pip 安装或从源码构建。安装前需要确认 GPU 驱动和 CUDA/ROCm 环境符合要求，具体版本依赖请以官方仓库的说明为准。由于低精度 KV 缓存涉及特定硬件架构，建议先查阅文档中关于 SM8x、SM90、SM12x 或 ROCm 的支持矩阵，避免在不支持的设备上启用导致报错。

启用低精度 KV 缓存通常需要通过启动参数或环境变量指定。例如，在支持的 NVIDIA GPU 上可以开启 NVFP4 KV 缓存；对于 GLM-5.x 模型，FP8 KV 缓存已默认启用，无需额外配置；在 ROCm 平台上则可以尝试 4 位 KV 缓存。建议在修改配置后运行基准测试，对比启用前后的显存占用和吞吐量，确认收益是否符合预期。

除了缓存配置，Model Runner V2 的相关特性也需要在启动时显式开启或确认默认状态。GPU n-gram 推测器、弹性 EP 和 PP+CP for MLA 等选项适合多卡或大规模部署场景，单卡用户可以先从默认配置开始。官方还提供了预编译内核下载和自动调优预加载机制，首次启动时可能会自动下载内核文件，需要保证网络畅通。

  • 环境检查

    确认 GPU 架构属于 SM8x/90/12x 或 ROCm 支持列表，并安装匹配的驱动。

  • 按需启用

    低精度 KV 缓存需通过参数开启，GLM-5.x 的 FP8 KV 为默认，无需手动设置。

  • 基准对比

    启用前后分别测量显存占用和请求吞吐，用数据判断是否值得开启。

适用场景、同类对比与注意事项

vLLM v0.32.0 最适合需要自行部署开源大模型的团队，例如搭建内部推理服务、进行模型评测、构建带工具调用的智能体应用，或者需要在有限显存下运行长上下文模型。结构化决策端点对需要稳定 JSON 输出的业务场景尤其有用，比如表单填写、路由决策和自动化流程。低精度 KV 缓存则直接降低了硬件门槛，让单卡部署更大模型成为可能。

与同类推理引擎相比，vLLM 的优势在于吞吐优化和社区活跃度。TensorRT-LLM 在 NVIDIA 平台上通常有更极致的性能，但配置复杂度较高且对非 NVIDIA 硬件支持有限；Hugging Face TGI 部署简单，但在低精度缓存和结构化输出方面的选项相对较少；SGLang 在结构化生成和前缀缓存方面有特色，而 vLLM 本次新增的 /v1/systemone 端点正是对这一方向的回应。选择时可以根据硬件平台、模型格式和团队熟悉度来决定。

需要注意的是，低精度 KV 缓存并非在所有模型和任务上都无副作用，极端情况下可能影响生成质量，建议在正式上线前做效果评估。此外，v0.32.0 包含 3 项安全修复和 CORS 加固，升级时建议同步关注安全公告。该版本的具体许可条款、支持的模型列表和硬件要求，请以官方仓库中的文档为准。

  • 推荐场景

    内部推理服务、智能体工具调用、长上下文模型部署和批量评测。

  • 对比 TensorRT-LLM

    TensorRT-LLM 在 NVIDIA 上性能极致但配置复杂，vLLM 更通用且迭代快。

  • 对比 TGI

    TGI 部署简单，vLLM 在低精度缓存和结构化输出上选项更丰富。

  • 安全提醒

    版本包含 3 项安全修复和 CORS 加固，升级时请阅读安全说明。

分步上手指南

  1. 获取源代码与安装

    访问 GitHub 上的 vLLM 官方仓库，按照 README 中的说明使用 pip 安装或从源码构建。安装前确认 Python 版本和 GPU 驱动符合要求，ROCm 用户需选择对应的安装分支。

  2. 检查硬件与模型兼容性

    确认你的 GPU 架构是否在低精度 KV 缓存的支持列表中，例如 SM8x、SM90、SM12x 或 ROCm。同时查看目标模型是否在官方支持列表中，GLM-5.x 用户可直接享受默认 FP8 KV。

  3. 配置启动参数

    根据需求启用低精度 KV 缓存、结构化决策端点或 Model Runner V2 相关选项。建议先使用默认配置启动，确认服务正常后再逐项开启新特性，便于定位问题。

  4. 运行基准测试

    使用官方或自建的基准脚本，对比启用低精度 KV 缓存前后的显存占用和请求吞吐。记录数据，确认性能提升符合预期，并观察生成质量是否有明显变化。

  5. 部署与监控

    将服务接入实际业务，监控延迟、错误率和显存使用情况。关注官方仓库的更新和安全公告，及时应用补丁，确保服务稳定运行。

常见问题

vLLM v0.32.0 是免费的吗？

vLLM 是开源项目，源代码托管在 GitHub 上，通常可以免费使用。但具体许可条款可能因版本而异，建议在官方仓库中查看 LICENSE 文件确认。商业使用时还需注意模型本身的许可协议。

低精度 KV 缓存会影响模型输出质量吗？

低精度 KV 缓存通过降低缓存数值精度来节省显存，多数情况下对生成质量影响很小，但并非绝对无损。不同模型和任务对精度的敏感度不同，建议在正式部署前做对比评测。如果发现质量下降，可以回退到更高精度的配置。

哪些显卡支持 NVFP4 KV 缓存？

根据发布说明，NVFP4 KV 缓存支持 SM8x、SM90 和 SM12x 等 GPU 架构。具体型号对应关系请查阅官方文档中的硬件支持矩阵。ROCm 平台则支持 4 位 KV 缓存，配置方式有所不同。

结构化决策端点 /v1/systemone 怎么用？

该端点允许模型按照预定义结构输出决策结果，适合需要稳定 JSON 输出的场景。使用时需要按照官方文档定义输出模式，并通过 API 调用。具体请求格式和参数请参考仓库中的接口说明。

vLLM 和 TensorRT-LLM、TGI 有什么区别？

vLLM 以高吞吐和易用性著称，社区迭代快；TensorRT-LLM 在 NVIDIA 平台上性能极致但配置复杂；TGI 部署简单但低精度缓存选项较少。选择时应结合硬件平台、模型格式和团队技术栈综合考虑。