GPT-6 Astra と weight-space programming: Qwen の MATH-500 の実験は実際に何を測ったのか

Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab による「Sparks of Weight-Space Programming」という記事は、OpenAI の GPT-6 Astra がニューラルネットワークの重みをネイティブに読み書きできると主張しています。広まった数字はこれです。Astra が Qwen3.5-0.8B の重みの 0.016% を書き換えたところ、MATH-500 のスコアが 7.9% から 48.1% に上がりました。11 月 3 日、Matthew Honnibal はこの見せ方は誤解を招くと指摘し、Simon Willison はテストの 1 つを自分のノート PC で再現しました。

本稿はこの 2 つの記事に基づいています。どちらもアブストラクトを引用し、すべての実験を表にまとめています。元の記事は読んでおらず、何も再実行していません。報告と書いた箇所は、情報源がそう述べていることを伝えているという意味です。関心があるのは、見出しと手法がどれだけ離れているか、そしてアブストラクトではなく表を読めば、その距離がどれほど簡単に見えるかです。

GPT-6 Astra の weight-space programming の記事は何を主張しているのか

Willison のまとめによれば、アブストラクトの主張は 4 つです。Astra は生の重みから、そのネットワークが何のために訓練されたかを言い当てられる。環境からのフィードバックなしで小さなゲーム用ネットワークをゼロから書き、PPO で 1 億ステップ訓練したネットワークに勝てる。Qwen3.5-0.8B のモデルカードが警告している思考ループの原因を突き止めた。そして勾配を使わずに重みの 0.016% を編集し、MATH-500 を 7.9% から 48.1% に上げ、IFEval をおよそ 3 倍にした。

著者たちはこの能力を「weight-space programming」と呼んでいます。Honnibal が異を唱えているのは、アブストラクト冒頭のこの一文の見せ方です。

Just by looking at the raw weights, GPT-6 Astra can tell what a network
was trained to do.

この文が説明している実験については、この文は正しいです。Honnibal の批判は、同じ見せ方が、別の方法で得られた Qwen の結果にまで持ち込まれている点にあります。

GPT-6 Astra のどの実験がツールなしで生の重みを読んだのか

該当するのは Honnibal の表にある 10 件のうち 3 件で、いずれも小さなネットワークです。彼は各実験を、モデルに何が許されていたかで分けています。実験 1、2、4 は Python なしで生の重みをコンテキストに入れたもので、対象は重みが 1.7 万、2.4 万、17.2 万個のネットワークです。言語モデルを対象にした実験はすべて Python を使い、Qwen の結果ではモデルの実行も加わっていました。

GPT-6 Astra の weight-space 実験を 1 件ずつ: それぞれが測ったもの

ゲームを言い当てる (報告)。 Breakout、Pong、Pac-Man、Freeway の 10x10 グリッド版で 4 つのポリシーネットワークが訓練されました。それぞれの重みをテキストとしてプロンプトに入れ、どのゲームで訓練されたかを、ツールなしで尋ねています。Astra は 4 つとも正解しました。2.4 万個の重みの拡散 MLP も同様で、3 つの図形すべてを当てています。ツールなしの結果としてはこのセットで最も明快なものですが、ネットワークは合計 7 つです。

車を直す (報告)。 17.2 万個の重みの Kinetix ポリシーが動かなくなっていました。Astra はその重みと失敗エピソードの記録 1 つを渡され、1 回の試行で重みの 3.5% を編集し、成功率は 0% から 100% になりました。編集は 1 回、評価も 1 回で、反復はありません。私の読みでは、表の中で単独では最も強い結果です。

ゲーム用ネットワークをゼロから書く (報告)。 アブストラクトの比較対象は 1 億ステップ訓練した PPO で、表によれば Astra のネットワークはこれに勝っています。5 億ステップ訓練した PPO との比較について、Honnibal のメモは 3 つのゲームを挙げています。Breakout は 517 対 25、Seaquest は 53 対 89、Asterix は 53 対 55 です。つまり主張は書かれたとおりには成り立ち、ベースラインを 5 倍長く訓練すると 3 つのうち 2 つのゲームで成り立たなくなります。

迎合を見つける (報告)。 Python と Gemma 3 270M の重みだけでは、Astra は失敗しました。最大 16 件のテキストのアテンションパターンを、出力を伏せたまま見せると 3/3 でした。後者はアクティベーションを読んでおり、重みを読むのとは別の道具を使っています。

Qwen を直す (報告)。 Honnibal によれば、Astra は Python を書いて実行し、最大 50 バッチの練習問題でモデルを動かすことができました。モデルカードにはすでに、終わらない思考ループという不具合が記載されていました。つまり 48.1% は、コード、記載済みの症状、評価ループの 3 つを手にしたエージェントが出した結果です。そして Gemma 3 270M での同様の実験は失敗しています。Willison が紹介する Goedecke の批判は、これは人間の ML 研究者が踏むのと同じ手順だ、というものです。

小さなモデルで GPT-6 Astra のツールなしテストを再現できるか

ゲームのタスクについては、ほぼできます。Willison は著者たちが公開しているログのリポジトリから 4 つのプロンプトを取り出し、違いが重みだけであることを確かめてから、自作のツール llm で実行しました。

Kimi K3.1 Pro (報告)。 OpenRouter 経由で Breakout のプロンプトを与えると、9 分 41 秒かけ、19,493 個の推論トークンを使ったうえで Breakout と答えました。

ノート PC 上の Qwen 3.8 27B (報告)。 LM Studio で 17GB の Q4_K_M ビルドを使い、デフォルトの 8,192 トークンでは失敗したため長いコンテキストウィンドウを設定しています。4 つのうち 3 つを当て、成功した 3 回はそれぞれ 46〜65 分かかりました。

Willison は推論の過程を「ほとんど理解不能」と評し、経験のある人間がメモ帳と鉛筆を持って十分に時間をかければ、おそらく同じ答えにたどり着けるだろうと付け加えています。ノート PC 上の 27B モデルが 1 時間ほどで再現できるということは、このタスクが「ニューラルネットワークを読む」という言葉から受ける印象よりも小さいということです。

GPT-6 Astra の Qwen の数字を信じる前に何を確認すべきか

問いは 4 つです。Honnibal の表は 1 つ目に答え、残りの 3 つの問いの存在を示していますが、手元のまとめではそれらは決着していません。

モデルは何を使えたのか。 プロンプトに入った生の浮動小数点数は 1 つの道具です。コード、アクティベーション、実行できるネットワークは別の道具です。コードとテストループを必要とした結果はエンジニアリングの結果です。同じ道具を持ったエンジニアなら何をするか、と比べて評価してください。

フィードバックループはあったのか。 最大 50 バッチの練習問題は評価器です。評価のフィードバックが使えるなら、スコアだけでは狙いを定めた診断と反復的な探索を区別できません。また、練習問題が MATH-500 と重なっていたかどうかは、読んだ記事には書かれていません。

ベースラインはどれだけ壊れていたのか。 終わらない思考ループについてモデルカードが警告しているモデルで MATH-500 が 7.9% というスコアは、記載済みの形で失敗しているモデルの姿に見えます。私の読みでは、こうした不具合を直すだけで、モデルが数学について何も新しく学ばなくても、かなりの点数を稼げます。まとめは、40 ポイントのうちどれだけがループの減少によるもので、どれだけがそれ以外によるものかを分けていません。

1 件を超えて成り立つのか。 Gemma での同様の実験は失敗し、ゲーム用ネットワークは 3 つのうち 2 つのゲームで長く訓練したベースラインに負けています。つまり証拠はまちまちで、境界は誰も調べていません。それでも、ベンチマークが確かめた範囲でしか成り立たないのと同じように主張には適用範囲があり、Gemma での失敗は、その範囲の端を追加のコストなしに見つけてくれたものです。

GPT-6 Astra の結果は何を変えるのか

アブストラクトが言うほどではありませんが、何も変えないわけでもありません。Honnibal 自身の結論は、1〜2 年前のモデルなら「これらのタスクすべてに失敗していただろう」というものです。分析コードを書き、壊れたモデルを動かし、修正を見つけて重みの 0.016% にパッチを当てるエージェントは、以前なら ML エンジニアが必要だった仕事をしています。Willison は「ソースコードの時代は終わった」とまでは言えないとしていますし、私も同意見です。

能力そのものより興味深いのは、Qwen の修正が成果物として何なのかという点です。先週、記憶を重みに統合するとアドレスが失われると論じました。パラメータ全体に広がった事実は一覧にできず、そのため単独では削除できません。Qwen の編集はその逆の側、つまり記載済みの不具合から出発し、疎なパッチを生みました。8 億パラメータの 0.016% でも約 12.8 万個の重みなので、これは数値的なアドレスであって、まだ意味的なアドレスではありません。パッチは記録でき、元のチェックポイントに対して取り消せ、アブレーションもできます。パッチがループにだけ作用しているのか、その後の訓練を経てもきれいに取り消せるのかは、誰も測っていません。weight-space の編集が成熟するなら、見出しになるすべての改善の横に、使ったツールと並べて載せてほしいのはこの数字です。