重み空間プログラミングとは？仕組み・結果・公式情報

重みを読んで、ゼロから書く

フロンティアのLLMは、人間や従来のアルゴリズムから予想される水準を大きく超えて、ニューラルネットの重みをネイティブに読み書きできる。

Weight-Space Programmingは、LLMが各部分の計算を推論し、生の重みを読んだり書き換えたりする、という呼び方です。最適化と解釈の両方に効くかもしれない、と著者らは位置づけています。環境からのフィードバックや、Astra自身に学習ループを書かせる手順は使いません。

読み取りの例では、Astraがツールなしで17,253個の重みを見て、そのネットの学習元ゲームをBreakoutだと99%の確信度で当てたとされます。書く側では、小さなゲーム対戦ネットを一から作り、PPOで1億ステップ学習したネットより強くした、と公式ページは述べています。

• ゲームの識別

  17,253個の重みだけをツールなしで読み、Breakoutだと99%の確信度で判断したとされます。

• ゼロからの記述

  環境フィードバックなしで書いた小さな対戦ネットが、PPOで1億ステップ学習したネットを上回ったと報告されています。

• ほかの問い

  拡散モデルの生成内容、言語モデルの中間部だけからの推定、失敗したネットの修正、Goの手順、迎合的な言語モデルの判別、ループしないモデルの数学力向上もページの題材です。これらの数値は、今回の公開文の要点には含まれていません。

8Bの数学を0.016%の編集で上げる

勾配も学習もなく、重みの0.016%だけを直接変えて、推論のループを直し、数学を最大約6倍、指示追従を3倍にした。

対象はQwen3.5-0.8Bです。Astraは、Qwen自身のモデルカードが警告している推論ループの原因を重みの中に見つけ、全体の0.016%だけをネイティブに編集したとされます。同じサンプリング設定のまま、MATH-500は7.9%から48.1%になり、約6倍です。

この修正はそのまま指示追従にも広がり、IFEvalは3倍になったと公式ページに書かれています。学習ループをAstraに書かせてはいません。ページには、ループしないモデルの数学力を上げる題目もありますが、その数値は要点の本文には出ていません。

どこで読めて、何が未整理か

ニューラルネットの重みは、やがて重みについて意図的に推論するLLMによって、ネイティブに最適化されるようになる。

著者らは、重みを推論しながら最適化する流れが始まりつつある、と書いています。公式の解説はrikiyat.github.ioにあり、ページ名はSparks of Weight-Space Programmingです。

公開されているのはこの研究の説明であり、操作できるアプリ、API、料金、編集済みモデルの配布は案内されていません。示されている強い数字は、Breakoutの識別、PPOとの対比、Qwen3.5-0.8BのMATH-500とIFEvalに集まっています。どこまで大きいモデルや別タスクへ広がるかは、公開文の範囲では数字になっていません。