DiffuSpaceが35B拡散言語モデル「Clover-35B-A3B-Preview」を公開、単一GPUで毎秒680トークン

自己回帰の直列ボトルネックを超える並列生成アプローチ

現在主流の大規模言語モデルは、左から右へと1トークンずつ順番に予測する自己回帰（AR）方式を採用しています。この仕組みは構造上、前のトークンが確定するまで次のステップに進めないため、GPUの演算能力が余っていても単一ストリームの生成速度が頭打ちになりやすい課題がありました。Oran Feng氏、Weitong Lian氏、Shengliang Deng氏、Zirui Wu氏、Guicheng Qi氏、Demi Zhu氏、Shansan Gong氏、Jiacheng Ye氏ら13名のメンバーを擁するDiffuSpaceは、「自己回帰の先へ（Beyond autoregression）」を掲げてこの壁に挑んでいます。

同チームが発表した「Clover-35B-A3B-Preview」は、並列生成・双方向モデリング・反復的な精緻化（イテレーティブリファインメント）を組み合わせた拡散言語モデル（dLLM）です。複数トークンを同時に生成・修正できるため、標準的なBF16精度のまま単一GPUカード上で毎秒680トークンという高いスループットを叩き出します。

Qwen3.6-35B-A3Bを基盤に128KコンテキストとApache 2.0を両立

高速化と出力品質を両立させるため、Clover-35B-A3B-Previewはスパース構造を持つQwen3.6-35B-A3Bをベースに構築されています。総パラメータ数は35Bですが、推論時に活性化するパラメータは約3Bに抑えられており、単一カードでの高速推論に適したメモリ帯域設計となっています。

コンテキストウィンドウは128Kトークンに対応し、商用利用もしやすいApache 2.0ライセンスで提供されます。DiffuSpaceの発表によれば、既存の拡散言語モデル（dLLM）だけでなく同クラスの自己回帰（AR）モデルと比較しても強力なベンチマーク性能を示しています。

• 並列生成（Parallel generation）

  1トークンずつの逐次出力ではなく複数トークンを並列に生成し、単一GPU・BF16で680 tpsを実現します。

• 双方向モデリング（Bidirectional modeling）

  前後の文脈を双方向に参照しながらテキストを組み立てるため、全体の整合性や制御性に優れます。

• 反復的精緻化（Iterative refinement）

  拡散ステップを通じて出力を段階的に磨き上げ、アクティブ約3Bの軽量な計算量で高い品質を保ちます。

Hugging FaceとModelScopeで重みを公開中

Clover-35B-A3B-Previewのオープンウェイトは、Hugging FaceのDiffuSpaceオーガナイゼーション、ModelScope、および公式サイトのdiffuspace.aiにて公開されています。極端な量子化に頼らずBF16精度のまま単一カードで680 tpsを出せるため、手元のGPU環境でそのまま速度と精度を検証できます。

低遅延が求められるコーディング支援やリアルタイム文書生成、双方向コンテキストを活かしたテキスト編集など、自己回帰モデルでは速度面で制約があったワークロードの新しい選択肢となります。