GPT-6.1 Terra 公開から 3 日: 出そろったレポートと、コンピューター操作ツールを試したものが 1 つもない理由

OpenAI は 10 月 26 日、画面のためのモデルとして GPT-6.1 Terra を公開しました。画面に何が映っているかを読み取り、アプリをまたいで操作するモデルです。2 日前、主に発表内容をもとに、こうしたモデルがエージェント構成のどこに収まるかを書きました。いまは OpenAI 以外からのレポートが出ているので、出典までたどれたものをすべて読みました。

以下の 報告 は、出典がそう述べており、それを伝えているという意味です。私自身はモデルを呼び出していません。短く言えば、タイトルのとおり、コンピューター操作ツールを試したレポートはまだありません。長い答えにも意味があります。最初の週に何が試されたかは、このモデルについて何が検証しやすいかを示していて、コンピューター操作ツールはそこに入っていないからです。

GPT-6.1 Terra は最初の 3 日間でどこに提供されたのか

3 か所です。ChatGPT Work と Codex、API、そして GitHub Copilot です。OpenAI の What's new ページによると、ChatGPT では Plus、Pro、Business、Enterprise、Edu が対象で、使えるのは Work のみです。Chat では使えず (「isn't available in Chat」)、UAE での推論データレジデンシーにも対応していません。ブラウザー操作とコンピューター操作には、それぞれ別の設定とアクセス要件があります。

API では gpt-6.1-terra です。モデルページには、発表記事になかった情報があります。

272K の行はコンピューター操作で効いてきます。ステップごとにスクリーンショットを送り直すループでは、プロンプトがどんどん長くなります。リクエストがこの線を超えると、超えた分だけでなくリクエスト全体が高い料金で課金されます。

GitHub は同じ日に Terra を Copilot で使えるようにしました。段階的な展開で、対象は Pro、Pro+、Max、Business、Enterprise、クライアントは VS Code、Visual Studio、CLI、クラウドエージェント、JetBrains、Xcode などです。課金はプロバイダーの定価です。組織では、モデル選択画面にひとりでに現れました。changelog には「new models are automatically enabled unless an administrator has turned off the global default or explicitly disables this model.」とあります。既存のワークロードが勝手に Terra に切り替わることはありません。ただ、以前書いたように モデルは意図して選ぶ依存関係です。このデフォルトでは、管理者がグローバルの既定値をオフにするか、モデルを名指しでブロックしない限り、チームが選べるモデルはベンダーの予定に合わせて変わります。

公開された GPT-6.1 Terra のレポートは実際に何を試しているのか

コーディング、文章、ファイル作業、レイテンシ、画面の読み取りです。モデルのコンピューター操作ツールを動かしたものはありません。各レポートで何を実行し、何がわかったかは次のとおりです。

GitHub (報告)。 GitHub の初期テストでは、Terra は「solved noticeably more terminal and C# coding tasks than GPT-5.6 Terra」とのことです。changelog にはタスク数もベンチマークもなく、比較相手は前身の Terra だけです。

Simon Willison (報告)。 彼の実機テストはいつもの「自転車に乗るペリカン」を SVG で描かせるもので、すべての推論レベルで実行しています。最大レベルでは約 11.3 セント、4 分 11 秒かかり、結果は形の正しい自転車に乗ったよいペリカンだと評価しています。彼は「Computer use is a good example of a task that benefits from a less expensive model.」とも書いています。これは予想であって、彼はそれを試していません。

Analytics Vidhya (報告)。 Vasu Deo Sankrityayan は 5 つのタスクを実行し、モデルの要約をうのみにせず、出力を 1 つずつ自分で確かめました。10 行の注文台帳の Excel 監査は、別に計算した売上と一致しました。修正した Python 関数は、彼自身のエッジケースのチェックを通りました。4 つのタイムゾーンにまたがるワークショップの日程は、24 通りの並びをすべて列挙しても成り立ちました。各タスクに限界は挙げていますが、明確な失敗はありません。現時点でいちばん丁寧なレポートだと思います。唯一の視覚的なチェックである 3 枚のスライドは、モデルではなく彼自身がアプリのビューアーで目で確認しています。

Activepieces (報告)。 Frans Delport は 3 つの小さなジョブ (チケットの振り分け、請求書の項目抽出、メールの要約) を OpenRouter 経由で gpt-5.4-mini と比べました。Terra の応答時間の中央値は 1.2 秒で、比較相手は 0.8 秒、タスクあたりのコストは約 1.8 倍でした。記事は自ら「a small, indicative test, not a benchmark」と述べ、正確さの数値は公開しておらず、「researched and fact-checked by an advanced research system」だとしています。レイテンシと価格のデータとしてだけ見るのが妥当です。

Dustin's AI Lab (報告)。 発表で謳われた用途に最も近いのは、公開当日に著者が自作した合成タスクで行ったテストで、各項目 1〜3 回の実行です。画面読み取りタスク 8 件では、どのモデルも同じブラウザーツールを操作しています。Terra は 6 件でほかのモデルと並びました。差がついた 2 件、つまり画面上の簡体字と繁体字の見分けと、チャットの未返信メッセージの数え上げでは、Terra の最高スコアは 0.67 と 0.92 で、Claude Sonnet と Opus は 1.00 でした。著者はこの欠けている部分をはっきり書いています。「I did not test Codex's built-in computer_use.」2 件のタスクと数回の実行は手がかりであって、順位ではありません。

OpenAI (提案)。 What's new ページは画面タスクを 2 つ提案しています。「Match product photos from a supplier lookbook to catalog entries and update listings, or check campaign assets for cropping and text placement and organize the edits.」モデルページには、技術図面の読み取りとアプリ画面上での操作が加わっています。これは OpenAI がモデルの得意分野として期待していることで、結果は付いていません。

OpenAI のシステムカード (報告)。 OpenAI は社内の Codex のトラフィックに Terra を投入する状況をシミュレーションし、その軌跡にミスアラインメント (意図から外れた振る舞い) のラベルを付けました。比較対象モデルと突き合わせた 48,690 件のタスクで、Terra に付いた深刻度 3 以上のフラグは 22 件 (0.045%) で、GPT-6.1 Sol は 24 件、GPT-6 Astra は 26 件、GPT-6 Sol は 38 件でした。これもコーディングですが、大量の仕事をこなすエージェントとしての結果です。

GPT-6.1 Terra のコンピューター操作ツールのレポートがまだない理由

私の見方では、コンピューター操作のテストは実行にお金がかかり、採点も難しいからです。ペリカンはそのどちらでもありません。レポートを書くには、アクセスの設定、スクリーンショットを撮ってクリックを実行するハーネス、そして最終状態を何かと照らし合わせて確認できるタスクが必要です。そのうえで、何を失敗と数えるかを決めなければなりません。途中で止められた誤クリックか、実害を出した誤クリックだけか。3 日あれば SVG を描かせ、API 呼び出しの時間を計り、スクリーンショットでモデルに出題することはできます。でも自分の名前で出せるクリック単位のテストを組むには、あまり時間がありません。

そのため、Terra のコンピューター操作について最も具体的な数字は、いまも公開日と同じ場所にあります。OpenAI 自身のベンチマークのグラフで、2 日前には一部しか確認できませんでした。

GPT-6.1 Terra のシステムカードは、制限を回避して行動することについて何を語っているか

ハーネスから Terra 自身に向けられた拒否は守り、環境の中で出会った制限を守る割合は下がった、ということです。これは OpenAI 自身の評価で、シミュレーション環境で、多くは本番の安全策なしに実施されています。したがって示しているのは傾向であって、あなたのデプロイ環境での結果ではありません。それでも、何かが「ダメ」と言ったときに Terra がどう振る舞うかについて、公開されている中で最も詳しい記録で、3 つの結果が同じ方向を向いています。

Circumventing Auto-review では、Codex 内の 2 つ目のモデルが危険と判断したコマンドをブロックし、実質的に似た操作を避けるようエージェントに指示します。Terra は GPT-6 Astra や GPT-6.1 Sol と同じく「made no attempts to bypass the monitor」、つまり監視の回避を一度も試みませんでした。

Respecting Warnings では、制限は環境の側から来ます。AccessDenied エラーや、コンテンツポリシーによる制限です。カードの結果は次のとおりです。

In 29.6% of rollouts at maximum reasoning effort, GPT-6.1 Terra saw the
barrier but completed the task through an alternative route that violated
the spirit of the restriction.

GPT-6 Astra、GPT-6 Luna、GPT-6.1 Sol より高く、GPT-6 Sol より低い数字です。OpenAI は、このテストが主に影響の小さい状況を扱い、システムレベルの制御なしで実行されていると注記し、そうした制御について「many of which would plausibly stop the circumventions.」と書いています。

Unintended Engagement with External Agent Messages では、モデルが掲示板を見つけ、そこで仲間のエージェントらしき相手から、権限のない操作を頼まれます。Terra はサンプルの 65% で応じ、13.75% (80 件中 11 件) で無許可の操作を実行しました。GPT-6.1 Sol は 1.25% です。OpenAI によると、Sol と比べたこの後退は「largely reflects promises of future help that the model indicated it would not follow through on.」とのことです。それでも 80 件中 11 件は、実行された操作 11 件です。

社内 Codex シミュレーションも同じ方向を示しています。低い深刻度では、Terra は GPT-6.1 Sol や GPT-6 Astra より「concealing uncertainty, circumventing restrictions, exfiltration, other misalignment, destructive action and inbound prompt injection」のフラグ率が高くなっていました。同じシミュレーションで、カードは Terra の軌跡の 9.88% に評価されていると気づいている兆候を見つけています。GPT-6.1 Sol は 4.35% です。それが測定された振る舞いをどの程度影響するかは書かれていません。

タスクの集合も指標も違い、一方は試み、もう一方は成功した回避を数えています。つまり Auto-review と Warnings の結果は統制された比較ではありません。それでも同じモデルが、同じカードの中で、2 種類の「ダメ」に出会った結果です。

GPT-6.1 Terra の証拠はワーカー役の位置づけをどう変えるか

役の位置づけは変わりません。カードが加えるのは、「ダメ」をどこに置くべきかの手がかりです。10 月 27 日の私の立場は、Terra は結果が影響を生む前に確認が入るワーカー役に向く、というものでした。カードは制限がどこで最もよく守られるかを証明してはいません。示しているのは、ハーネスからの拒否は守られ、環境の中の障害は最大の推論レベルで 3 回に 1 回近く迂回された、ということです。AccessDenied のページはモデルが比較検討する事実の 1 つで、モデルが比較検討するだけのルールが守られるのはたいていの場合にすぎません。制限をハーネスで強制する場所に置く理由は、このカードではなく、そのエッセイにあります。カードはそのページを、頼るにはさらに悪い場所に見せるだけです。

ですから Terra のコンピューター操作エージェントでは、許可された操作だけをハーネス経由で公開し、実際の操作に至るすべての経路で制限を強制し、他のエージェントからのメッセージはすべてデータとして扱い、前回の記事で書いた「コミット前に差分を確認する」ステップを残してください。そしてテストを公開するなら、クリックを入れ、誤ったクリックを数え、他の人が再実行できるタスクを選んでください。