DiffuSpace 开源 35B 扩散语言模型 Clover，单卡每秒生成 680 Token

跳出从左到右逐字吐词：用并行扩散突破解码瓶颈

目前主流的自回归（AR）大语言模型在生成文本时，必须严格按照从左到右的顺序一个词接一个词地串行预测。无论显卡算力有多充裕，单路生成的速度都会被这种串行依赖卡住。DiffuSpace 是一支 13 人的研究与工程团队（Hugging Face 组织成员包括 Oran Feng、Weitong Lian、Shengliang Deng、Zirui Wu、Guicheng Qi、Demi Zhu、Shansan Gong、Jiacheng Ye 等），他们的目标是构建超越自回归范式的下一代基础模型。

Clover-35B-A3B-Preview 走的正是扩散语言模型（dLLM）路线。它通过并行生成、双向建模与多步迭代精炼来同时更新一整段 token，不再等待前一个词落定才算下一个词。得益于并行解码机制，该模型在单张 GPU 卡、标准 BF16 精度下就能跑出每秒 680 token 的实测吞吐。

脱胎于 Qwen3.6-35B-A3B，兼顾 3B 激活开销与 128K 长窗口

为了在提速的同时守住语言理解与推理质量，DiffuSpace 选择在 Qwen3.6-35B-A3B 稀疏架构基础上进行扩散化改造。模型总参数量为 35B，但实际推理时仅激活约 3B 参数，把显存带宽压力控制在单卡即可轻松承载的范围内。

此外，Clover-35B-A3B-Preview 完整保留了 128K 上下文窗口，并以宽松的 Apache 2.0 开源协议释放权重。官方基准测试表明，它在与同类扩散语言模型（dLLM）以及同档位自回归（AR）模型的对比中均展现出扎实的性能。

• 并行生成（Parallel Generation）

  一次前向计算可并行预测与修正多个位置的 token，在单卡 BF16 下直达 680 tps。

• 双向建模（Bidirectional Modeling）

  生成过程中同时利用上下文双向信息，比单向因果掩码更适合全局结构控制与中间补全。

• 迭代精炼（Iterative Refinement）

  通过有限步去噪迭代逐步收紧生成质量，同时依托 3B 激活参数保持轻量计算开销。

权重已在 Hugging Face 与魔搭开放下载

Clover-35B-A3B-Preview 的开源权重已经同步托管在 Hugging Face 的 DiffuSpace 组织主页、ModelScope（魔搭社区）以及官方站点 diffuspace.ai。国内与海外开发者都可以直接拉取权重文件在本地复现。

由于采用 Apache 2.0 许可且无需激进的低比特量化就能在 BF16 下取得每秒 680 token 的高吞吐，需要低延迟代码生成、实时交互式文本改写或大规模批处理推理的团队，可以直接在单卡环境里评测这颗 35B 扩散语言模型的实际表现。