Setz das agentischere Modell auf den Review-Platz
Die Eigenschaften, die ein Modell agentischer machen (es erweitert den Scope, prüft sich ungefragt, schreibt länger), sind in einem eng begrenzten unbeaufsichtigten Worker ein Nachteil und in einem Reviewer ein Vorteil. Also laufen die Worker der Flotte auf Claude Opus 4.8, während Opus 5 das Review macht. Eine Notiz darüber, die Disposition eines Modells auf seine Rolle abzustimmen, nicht auf den Benchmark.
Ich habe eine Flotte geplanter Agenten von Claude Opus 4.8 auf Opus 5 umgestellt, und sie wurden schlechter in ihrem Job. Nicht dramatisch. Subtil, auf die Art, die dich eine Woche kostet, bevor du sie benennen kannst. Die Antworten blähten sich auf. Agenten änderten ständig Dinge, um die niemand gebeten hatte. Einfache Aufgaben bekamen zusätzliche Schritte. Mein erster Reflex war, dass ich irgendwo einen Prompt kaputtgemacht hatte.
Hatte ich nicht. Das Modell zeigte genau die Verhaltensunterschiede, die Anthropic dafür dokumentiert. Das Problem war, dass ich es auf den falschen Platz gesetzt hatte.
Die Eigenschaften sind dokumentiert, und sie sind keine Bugs
Als ich aufhörte, es als Regression zu behandeln, und Anthropics eigene Opus-5-Hinweise las, stand jedes Symptom im Klartext da. Die Standard-Antworten fallen länger aus als bei früheren Opus-Modellen. Scope-Erweiterung: Das Modell kann Schritte hinzufügen, um die du nicht gebeten hast, oder sein eigenes Urteil darüber anwenden, was die Aufgabe sein sollte. Es prüft seine Arbeit ungefragt und delegiert bereitwilliger an Sub-Agenten als 4.8. Das sind dokumentierte Eigenschaften des Releases, kein Beweis, dass mein Prompt kaputt war. Es ist die Form eines agentischeren Modells, eines, das dazu neigt, mehr zu tun, mehr zu prüfen und mehr zu sagen.
Setz diese Form jetzt in einen eng begrenzten, unbeaufsichtigten Worker, der per Timer aufwacht, eine schmale Aufgabe erledigt und wieder schlafen geht. Aus diesen Eigenschaften können Nachteile werden. In einem Worker, der Dateien schreibt, kann Scope-Erweiterung Änderungen außerhalb der eigentlichen Aufgabe bedeuten. Ungefragte Selbstkorrektur ist standardmäßig eine Stärke, aber eine übernommene Anweisung wie "prüfe deine Arbeit" verstärkt sie zu der Überprüfung, vor der Anthropic warnt, und die Tokens summieren sich. Mehr Erzähltext bedeutet längere Läufe und mehr Fläche für Drift. Der ganze Wert eines begrenzten Workers ist, dass er die zugewiesene Sache eng erledigt und aufhört, und in meinen geplanten Jobs brauchte Opus 5 mehr explizite Scope-Kontrolle als 4.8, um diese Linie zu halten.
Dieselbe Form, einen Platz weiter, ist genau das, was du willst
Hier ist der Schritt, für den ich zu lange gebraucht habe. Diese Eigenschaften sind nur relativ zur Rolle Nachteile. Richte dasselbe Modell auf Review statt aufs Bauen, und jeder einzelne wird zum Vorteil.
Ein Reviewer, der den Scope erweitert, verfolgt den angrenzenden Code, den du gar nicht anzusehen gebeten hast, und findet die Nachbarfunktion, die deine Änderung halb kaputtgemacht hat. Ein Reviewer, der ungefragt prüft, leitet die Behauptung aus deiner Commit-Message neu her, statt ihr zu vertrauen. Zusätzliche Ausführlichkeit zahlt sich aus, wenn der Auftrag Gründlichkeit belohnt. Was einen Bauer bricht, baut einen Kritiker.
So hat sich die Flotte in eine Asymmetrie eingependelt, die auf dem Datenblatt verkehrt herum aussieht: begrenzte Worker laufen auf Opus 4.8; Opus 5 läuft als Reviewer. Der Worker tut, was ihm gesagt wird, und hört auf. Der Reviewer streift umher, zweifelt und überprüft zu viel, und ich will alle drei, wenn er die Arbeit von jemand anderem benotet, und keins davon, wenn er meine erledigt. Nichts davon sagt, dass Opus 5 das schwächere Modell ist. Anthropic bewirbt es als stark bei genau dieser Art von agentischem, mehrdateiigem Coding. Es sagt, dass seine Disposition auf einen anderen Platz passt als den, auf den ich es zuerst gesetzt hatte.
Die Empfehlung, die den üblichen Rat umdreht
Ein Detail lohnt sich zu übernehmen, selbst wenn du nie eine Flotte anfasst. Anthropics Lösung, wenn Opus 5 zu viel prüft, ist, die Selbstprüf-Anweisungen zu löschen, die du von einem älteren Modell übernommen hast, und sie weisen darauf hin, dass das den üblichen "lass das Modell seine Arbeit doppelt prüfen"-Rat umdreht. Speziell auf Opus 5 kann ein übernommenes "bitte prüfen" die modelleigene Prüfung verstärken und Kosten erzeugen, ohne das Ergebnis zu verbessern. Verallgemeinere das aber nicht auf jedes fähige Modell: Anthropics Hinweise für Claude Fable 5 empfehlen das Gegenteil, nämlich explizite Selbstprüfung in lang laufenden Prompts. Agentik allein legt die richtige Prüf-Policy nicht fest, das jeweilige Modell tut es. Dieselbe Nuance gilt für die Länge: Ausführlichkeit ist ein Prompting-Hebel, kein Effort-Hebel. Weniger Effort reduziert das Denk-Volumen, kürzt aber nicht zuverlässig das, was das Modell schreibt.
Der ehrliche Teil
Meine erste Fassung davon war sauberer und falscher. Sie sagte im Grunde: "Das neue Modell ist schlechter." Ich habe sie durch Reviews von zwei verschiedenen Modellfamilien geschickt, und beide haben diese Behauptung unabhängig voneinander in Frage gestellt: Das eine erkannte ein dokumentiertes Verhalten, das ich falsch gelesen hatte, das andere fing eine Änderung ab, die ich in derselben Woche gemacht und fälschlich dem Modell angelastet hatte. Die einfache Geschichte überlebte den Kontakt mit einem skeptischen Leser nicht, der nicht ich war.
Was der ganze Punkt ist, gleich doppelt. Die Lehre ist nicht "neuer ist schlechter", sondern dass ein Modell eine Disposition hat und eine Disposition einen richtigen Platz. Und die Art, wie ich die richtige Version sogar dieses Arguments gefunden habe, war, es dem agentischeren Modell zu geben und es das tun zu lassen, was es am besten kann: den Scope erweitern, die Behauptung anzweifeln und mir sagen, was ich falsch hatte.
