Gemini 4 Neon auf SWE-sweep: 39,0 % in der Antigravity CLI, 12,8 % in mini-SWE-agent, und Google hat die Agents beider Konkurrenten selbst laufen lassen
Im selben minimalen Harness liegt Neon einen Punkt vor GPT-6.2 Sol, im jeweils eigenen Agent des Anbieters dreißig. Den Großteil dieses Sprungs macht eine einzige Zelle aus: Sol in Codex. Diese Zelle hat Google selbst gerechnet, und dort schneidet Sol schlechter ab als im minimalen Harness.
Inhalt
Googles Ankündigung von Gemini 4 Neon nennt zwei SWE-sweep-Scores für ein und dasselbe Modell: 12,8 % mit dem minimalen Harness mini-SWE-agent und 39,0 % in Google Antigravity. Den zweiten Wert nennt Google State of the Art und schreibt den Sprung dem zu, was Antigravity möglich macht.
Nehmen wir beide Zahlen beim Wort. Die 39,0 % bleiben trotzdem ein Score für Modell plus Agent, gestellt neben andere Modelle in ihren eigenen Agents, und alle drei Agents hat Google selbst laufen lassen. Ich habe weder Neon noch SWE-sweep selbst ausgeführt. Die Zellen unten stammen von Google, die Verhältnisse habe ich ausgerechnet.
Was ist SWE-sweep, und warum sind die Scores so niedrig?
SWE-sweep ist ein Benchmark fürs Bug-Hunting von Meta FAIR und Co-Autoren aus Universitäten, veröffentlicht am 1. Oktober. Ein Agent bekommt ein Repository mit vielen echten Bugs gleichzeitig, ohne jeden Hinweis, wo sie stecken, und soll so viele finden und beheben wie möglich. Der Benchmark umfasst 4.068 Bugs in 100 Repositories und 22 Sprachen. In den Läufen des Papers hatte ein Agent bis zu 1.000 Schritte und 12 Stunden pro Repository. Versteckte Tests aus den ursprünglichen Fixes bewerten jede Reparatur, und wer die bestehende Testsuite kaputt macht, bekommt für das Repository null.
Das Finden ist der schwere Teil, deshalb sind die Scores klein. Das offizielle Leaderboard, Stand 2. November, lässt jedes Modell in mini-SWE-agent laufen und endet oben bei 8,9 %. Claude Opus 5.5 auf xhigh steht bei 3,6 %. Weder Neon noch GPT-6.2 Sol haben dort eine Zeile.
Wie viel ändert der Harness an Gemini 4 Neons Vorsprung auf SWE-sweep?
Gegenüber Claude Opus 5.5 wenig. Gegenüber GPT-6.2 Sol fast alles. Hier sind Googles sechs SWE-sweep-Zellen, die die Methodik als „subtask-weighted reward“ ausweist:
| SWE-sweep (Googles Tabelle) | Gemini 4 Neon | Claude Opus 5.5 | GPT-6.2 Sol |
|---|---|---|---|
| Mini-SWE-Harness | 12,8 % | 3,6 % | 11,6 % |
| Harness des Anbieters | 39,0 % (Antigravity CLI 1.5.9) | 10,1 % (Claude Code) | 8,3 % (Codex) |
| Anbieter ÷ mini-SWE | 3,0x | 2,8x | 0,7x |
Im minimalen Harness kommt Neon auf das 3,6-Fache von Opus, in den Agents der Anbieter auf das 3,9-Fache. Gegenüber Sol wird aus 1,2 Punkten Vorsprung ein Abstand von 30,7 Punkten, weil Sol in Codex schlechter abschneidet als Sol in mini-SWE-agent. Die dreißig Punkte Vorsprung auf GPT hängen also größtenteils an dieser einen Zelle.
Wer hat Claude Code und Codex für Googles SWE-sweep-Vergleich laufen lassen?
Google selbst. Die Evaluationsmethodik sagt, Zahlen der Konkurrenz stammen normalerweise aus den eigenen Berichten der Anbieter, und macht hier eine Ausnahme:
SWE-sweep (provider harness) results are self-computed. For provider harness setting we use the Antigravity-CLI version 1.5.9 harness through official integration for Gemini 4 Neon, Claude Code for Opus 5.5, and Codex for Sol 6.2.Auch die mini-SWE-Zeile ist laut Methodik selbst berechnet, mit einem „mini-swe-agent vision harness“. Die 3,6 % von Opus 5.5 dort entsprechen der xhigh-Zeile im öffentlichen Board. Ob Google diese Zelle neu gerechnet oder übernommen hat, sagt das PDF nicht. Standardmäßig berichtet Google Konkurrenten auf ihrer höchsten Reasoning-Stufe, aber die SWE-sweep-Notiz nennt weder die Effort-Stufe noch die verwendeten Versionen von Claude Code und Codex, und für den 39,0-%-Lauf gibt es weder Kosten noch Token-Zahlen.
Für Neons Ergebnis liefert die Notiz eine Erklärung:
The public Antigravity-CLI harness includes a default tool that allows for sub-agents that fan out across the codebase, which is particularly suited to bug finding tasks like SWE-sweep.Das ist eine faire Offenlegung, und es ist die einzige Erklärung, die Google gibt. Vollständig kann sie nicht sein: Claude Code erreicht fast denselben Multiplikator ohne dieses Tool.
Haben Claude Code und Codex im eigenen Test des SWE-sweep-Papers geholfen?
Codex hat geschadet, Claude Code hat kaum etwas bewegt. Das Paper hat seine Ablation mit älteren Modellen gemacht, auf 20 Tasks und den 10 Repositories mit den meisten Bugs:
Sol 5.6 (xhigh) scores 1.6% with the native Codex harness, significantly lower than with mini-SWE-agent (2.9%). Opus 5 (xhigh) scores 1.1% with the native Claude Code harness, only slightly higher than with mini-SWE-agent (1.0%).Die Richtung stimmt in beiden Fällen mit Googles Tabelle überein. Die Größe nicht: Claude Code brachte dort 0,1 Punkte und in Googles Läufen 6,5. Andere Modelle, andere Tasks, ein anderer Betreiber, also widersprechen sich die beiden nicht. Sie zeigen aber, dass der Effekt des Harness keine Konstante ist, die man einfach herausrechnen kann.
Letzten Monat lief die Asymmetrie in die andere Richtung. In der Argon-Tabelle stand Googles DeepSWE-Score aus einem eigenen mini-SWE-agent-Lauf neben Zahlen der Konkurrenz aus deren System Cards.
Welche anderen Coding-Scores von Gemini 4 Neon hängen am Harness?
Terminal-Bench 4.1. Google führt Neon dort mit 65,2 % cheating-bereinigter Genauigkeit, Quelle ist Artificial Analysis mit der Antigravity CLI 1.5.9. Die 65,8 % von Opus 5.5 kommen aus dem öffentlichen Leaderboard, das Paare aus Modell und Agent bewertet, in diesem Fall mit Claude Code. Ganz oben auf diesem Board steht GitHub Copilots eigener Agent mit 71,2 %.
Der Artificial Analysis Coding Agent Index, in dem Google Neon mit 58,6 auf Platz eins meldet, funktioniert genauso: Seine Methodik bewertet Agent-Varianten, keine nackten Modelle. Ein Score, der am Harness hängt, beantwortet die Frage „welches Produkt“, und Google berichtet ihn in einer Tabelle von Modellen.
Wie liest man die Coding-Scores von Gemini 4 Neon neben Claude Opus 5.5 und GPT-6.2 Sol?
Zuerst die Harness-Zeile suchen, dann prüfen, wer welche Zelle gerechnet hat. Der Agent eines Konkurrenten, betrieben vom Anbieter, der mit ihm im Wettbewerb steht, ist der Lauf einer interessierten Partei, bis ihn jemand wiederholt.
Wenn du ohnehin in der Antigravity CLI arbeiten wirst, sind die 39,0 % die Zahl, die deinem Setup am nächsten kommt, vorausgesetzt, deine Arbeit ähnelt SWE-sweep: breites, ungezieltes Bug-Hunting in einem großen Repository. Der Preis liegt bei 3 $ pro Million Input-Tokens und 15 $ pro Million Output-Tokens, aber was dieser Lauf gekostet hat, sagt Google nicht. Wenn du ein Modell für deinen eigenen Agent-Loop auswählst, lies die mini-SWE-Zeile: Dort liegt Neon etwa einen Punkt vor Sol und deutlich vor Opus. Dieselbe Gewohnheit gilt für Carbons Behauptung zu den Kosten pro Task: Erst fragen, welches Setup ein Board gemessen hat, bevor man es mit irgendetwas vergleicht.
01 / Diskussion
Hier gibt es keine Kommentarspalte. Diskussionen laufen auf X.
02 / Weitere Artikel
GPT-6.2 Astra und Sol in der API: Die Tool-Calling-Regel ist alt, die Kostenfallen sind neu
Die Pflicht zur Responses API wirkt wie die eigentliche Neuerung, ist aber älter als dieses Release. Zwei Änderungen treffen einen bestehenden Agent ohne dokumentierten Fehler: Top-Level-Instructions werden nicht mehr gecacht, und bearbeiteter Verlauf verliert sein Reasoning. Die neuen Background-Fenster bleiben teurer als Batch.
Migration auf Claude Fable 5.2: erst die Tools ändern, dann das Modell
Der Advisor und das Computer-Use-Tool stehen beide in tools, und eine Änderung an tools mitten in einer Konversation macht das erhaltene Thinking ungültig. Erledige beides, solange du noch das alte Modell nutzt. Dann ist der Wechsel auf Claude Fable 5.2 ein einzelnes Feld, das du auch wieder zurückstellen kannst.
Der Prefix-Check von Claude Fable 5.2: ein 400-Fehler, der davon abhängt, was dein Code im letzten Turn getan hat
Die Prüfung, die wiederverwendetes Reasoning nach einer bearbeiteten History ablehnt, gilt jetzt für jeden Account. Code, der an seine History nur anhängt, begegnet ihr nie, und Code, der das nicht tut, merkt es nicht an einem einzelnen Test-Request. Die Lösung steht in der Fehlermeldung. Schwer ist, den Fehler auszulösen, bevor es die Produktion tut.