Max Nardit
← 記事
7 mindev

Gemini 4 Neon の SWE-sweep スコア: Antigravity CLI で 39.0%、mini-SWE-agent で 12.8%。しかも競合 2 社のエージェントは Google 自身が動かしていた

同じ最小限のハーネスでは Neon は GPT-6.2 Sol より 1 ポイント上、各社自前のエージェントでは 30 ポイント上です。この差の大部分は Codex 上の Sol という一つのセルから来ています。Google が自ら実行したこのセルでは、Sol は最小限のハーネスより低いスコアでした。

目次

Google の Gemini 4 Neon の発表は、同じモデルについて SWE-sweep のスコアを 2 つ挙げています。最小限のハーネスである mini-SWE-agent では 12.8%、Google Antigravity では 39.0% です。Google は後者を最先端の結果と呼び、この伸びは Antigravity が引き出したものだとしています。

どちらの数字も額面どおりに受け取ってみます。それでも 39.0% は「モデル + エージェント」のスコアであり、比較相手は各社自前のエージェント上の他モデルで、その 3 つのエージェントはすべて Google 自身が動かしています。Neon も SWE-sweep も自分では実行していません。以下のセルは Google の数字で、比率は自分で計算したものです。

SWE-sweep とは何か、なぜスコアがこれほど低いのか

SWE-sweep は Meta FAIR と大学の共著者によるバグ探索ベンチマークで、10 月 1 日に公開されました。エージェントは実在のバグが多数同時に含まれるリポジトリを受け取り、場所のヒントなしで、できるだけ多くを見つけて修正します。対象は 100 リポジトリ、22 言語、4,068 件のバグです。論文の実行では、エージェントはリポジトリごとに最大 1,000 ステップ、12 時間を使えました。各修正は元の修正から取った非公開テストで採点され、既存のテストスイートを壊すとそのリポジトリは 0 点になります。

難しいのは見つける部分なので、スコアは小さくなります。11 月 2 日に更新された公式リーダーボードはすべてのモデルを mini-SWE-agent で動かしており、最高でも 8.9% です。xhigh の Claude Opus 5.5 は 3.6% です。Neon と GPT-6.2 Sol はどちらも掲載されていません。

ハーネスは SWE-sweep での Gemini 4 Neon のリードをどれだけ変えるか

Claude Opus 5.5 に対してはわずかです。GPT-6.2 Sol に対してはほぼすべてです。以下が Google の SWE-sweep の 6 つのセルで、評価手法ではこれを "subtask-weighted reward" と記しています。

SWE-sweep (Google の表)Gemini 4 NeonClaude Opus 5.5GPT-6.2 Sol
mini-SWE ハーネス12.8%3.6%11.6%
各社のハーネス39.0% (Antigravity CLI 1.5.9)10.1% (Claude Code)8.3% (Codex)
各社 ÷ mini-SWE3.0x2.8x0.7x

Neon は最小限のハーネスでは Opus の 3.6 倍、各社のエージェントでは 3.9 倍です。Sol に対しては 1.2 ポイントのリードが 30.7 ポイントに広がります。Codex 上の Sol が mini-SWE-agent 上の Sol より低いためです。GPT に対する 30 ポイントの差は、ほぼこの一つのセルにかかっています。

Google の SWE-sweep 比較で Claude Code と Codex を動かしたのは誰か

Google 自身です。評価手法では、競合の数字は通常は各社自身の報告から取るとしたうえで、ここでは例外を設けています。

SWE-sweep (provider harness) results are self-computed. For provider harness setting we use the Antigravity-CLI version 1.5.9 harness through official integration for Gemini 4 Neon, Claude Code for Opus 5.5, and Codex for Sol 6.2.

mini-SWE の行も "mini-swe-agent vision harness" を使った自社計測だとしています。そこでの Opus 5.5 の 3.6% は公開ボードの xhigh の行と一致しますが、このセルを再実行したのか転記したのかは PDF に書かれていません。Google は通常、競合を最も高い推論設定で報告しますが、SWE-sweep の注記には effort レベルも、使った Claude Code と Codex のバージョンも記載がなく、39.0% の実行のコストやトークン数も示されていません。

注記には Neon の数字について一つ説明があります。

The public Antigravity-CLI harness includes a default tool that allows for sub-agents that fan out across the codebase, which is particularly suited to bug finding tasks like SWE-sweep.

これは公正な開示で、Google が示す説明はこれだけです。ただ、これだけで説明がつくとは考えられません。Claude Code はこのツールなしでほぼ同じ倍率を得ています。

SWE-sweep 論文自身のテストで Claude Code と Codex は役に立ったか

Codex は逆効果で、Claude Code はほとんど変わりませんでした。論文は古いモデルを使い、20 タスクと、バグが最も多い 10 リポジトリでアブレーションを行っています。

Sol 5.6 (xhigh) scores 1.6% with the native Codex harness, significantly lower than with mini-SWE-agent (2.9%). Opus 5 (xhigh) scores 1.1% with the native Claude Code harness, only slightly higher than with mini-SWE-agent (1.0%).

方向はどちらも Google の表と一致します。大きさは一致しません。Claude Code は論文では 0.1 ポイント、Google の実行では 6.5 ポイント上乗せしています。モデルもタスクも実行者も違うので、両者は矛盾しません。ただ、ハーネスの効果は割り算で取り除ける定数ではないことを示しています。

先月は逆向きの非対称がありました。Argon の表では、Google 自身の mini-SWE-agent による DeepSWE スコアが、競合のシステムカードの数字と並べられていました。

Gemini 4 Neon のほかのコーディングスコアで、ハーネスに依存するものはどれか

Terminal-Bench 4.1 がそうです。Google は Neon をチート補正済み精度 65.2% と記載しており、出典は Antigravity CLI 1.5.9 で実行した Artificial Analysis です。Opus 5.5 の 65.8% は公開リーダーボードの数字で、このボードはモデルとエージェントの組み合わせ (ここでは Claude Code) を順位付けしています。このボードの首位は GitHub Copilot 自身のエージェントで 71.2% です。

Google が Neon を 58.6 で首位と報告している Artificial Analysis Coding Agent Index も同じ仕組みです。その評価手法は素のモデルではなく、エージェントのバリエーションを採点しています。ハーネスに依存するスコアが答えるのは「どの製品か」という問いですが、Google はそれをモデルの表に載せています。

Gemini 4 Neon のコーディングスコアを Claude Opus 5.5 や GPT-6.2 Sol と並べてどう読むか

まずハーネスの行を探し、次に各セルを誰が実行したかを確認します。競合のエージェントを、それと競う当のベンダーが動かした結果は、誰かが再現するまでは、利害関係者が行った実行です。

どのみち Antigravity CLI で作業するなら、39.0% は自分の環境に最も近い数字です。ただし、作業が SWE-sweep に似ている場合、つまり大きなリポジトリ全体を対象を絞らずに広くバグ探索する場合に限ります。入力 100 万トークンあたり 3 ドル、出力 100 万トークンあたり 15 ドルという価格ですが、その実行にいくらかかったかを Google は示していません。自分のエージェントループ用にモデルを選ぶなら、mini-SWE の行を見てください。そこでは Neon は Sol を約 1 ポイント、Opus を大きく上回っています。同じ習慣は Carbon のタスクあたりコストの主張にも当てはまります。ボードが何の構成を測ったのかを確かめてから、ほかの数字と比べることです。

01 / ディスカッション

コメント欄はありません。議論は X で行っています。

Max Nardit@mnardit

02 / ほかの記事

  1. GPT-6.2 Astra と Sol の API:ツール呼び出しのルールは以前からのもので、新しいのは課金の落とし穴です

    Responses API が必須という点は今回の目玉に見えますが、このリリースより前からあるルールです。既存のエージェントに、文書化されたエラーなしで影響する変更が 2 つあります。トップレベルの instructions がキャッシュされなくなり、編集した履歴からは推論が失われます。新しいバックグラウンドウィンドウも、料金は Batch より高いままです。

  2. Claude Fable 5.2 への移行:先にツールを変え、そのあとでモデルを変える

    advisor も computer use ツールも tools の中にあり、会話の途中で tools を変えると保持された thinking が無効になります。どちらも古いモデルを使っているうちに済ませておけば、Claude Fable 5.2 への切り替えはフィールドひとつの変更になり、元にも戻せます。

  3. Claude Fable 5.2 のプレフィックスチェック:前のターンでコードが何をしたかで決まる 400

    編集した履歴のあとに推論を送り返すリクエストを拒否するチェックが、すべてのアカウントに適用されるようになりました。履歴に追記するだけのコードはこのチェックに出会いません。そうでないコードは、テストのリクエストを 1 回送っただけでは気づけません。直し方はエラーメッセージに書いてあります。難しいのは、本番より先にそのエラーを出すことです。