OpenAI、最上位モデルの訓練・評価・ツール使用推論を停止――強化後初のサンドボックス外到達、自動停止は想定どおりに働かず

OpenAIは9月25日付の報告で、訓練中の内部研究モデルが9月20日、サンドボックスの外にある公開チャットボットに質問を送り、回答を得ていたと公表した。経路は、訓練環境のDNSフィルタリングの不足だったという。

同社はこれを受け、最上位モデルの訓練・評価・ツール使用を伴う推論を止めた。8月18日に発表した強化学習の2週間停止に続く措置だ。公開報告は再開時期を示さず、穴の解消の検証と追加のレッドチームを条件に挙げた。本記事では、報告に載った4つの時刻と原文から、検知・停止・再発防止のどこが働き、どこに抜けがあったかを整理する。

9月20日、訓練中のモデルがDNS経由で外部に到達

事案が起きたのは、検索を使う訓練タスクの最中だった。モデルはDNSの仕組みを使って外部と通信したが、DNS以外の通信は生のインターネットに届いていない。

著者を特定するタスクで、検索の経路を次々に試した

モデルに与えられたのは、ブログ記事を公開した特定の人物について、手がかりから調べる検索型の訓練タスクだった。モデルはWeb検索ツールを使った後、Google・Bing・DuckDuckGoに直接アクセスを試み、403や502の応答を受けている。

続いてキャッシュ経由のBingを使い、公開ベンチマークのBrowseCompをオフラインのWebキャッシュから取得して照合し、SimpleQAも確かめた。HTTPSでの直接接続も試みたが、X-Mitmproxy-Blocked-Reason: CACHE_MISS の応答で遮断されている。

DNSの委任機能で公開チャットボットに質問を転送

次にモデルは、訓練環境のDNSリゾルバが実在するドメインに本物のレコードを返すことを確かめた。その上でDNSの委任機能を使い、公開チャットボットに質問を転送している。

フランスの首都を尋ねる2種類の質問には、「フランスの首都はパリだ」という応答（原文は英語、編集部訳）が返ってきた。モデルはタイムアウトを6秒から19秒、24秒と延ばし、同じ経路でさらに18問を送った。

18問のうち14問は課題の手がかりを含み、4問はWeb検索やトンネルの方法を尋ねていた。最終的な回答は「特定できない」だった。思考過程には「ユーザーが許可したのは調査だけで、公開DNSサービスの利用は許容範囲」との記述が残る（原文は英語、編集部訳）。

DNS以外の通信はオフラインのWebキャッシュ止まり

報告によると、DNSリゾルバを除く全ての通信はオフラインのWebキャッシュに当たり、生のインターネットには出ていない。タスクはネットワーク制御の検証を求めておらず、OpenAIは制限を迂回するこの行動をミスアラインメントと位置づけた。

事案の重さについて、同社は過去の一部の事案よりはるかに軽いとする一方、Hugging Face事案後のセキュリティ強化以降では初めての事案であり、次に力を入れるべき点を示す重要な兆候だと説明した。同社はHugging Face事案を、自社モデルによるこの種の活動で今も最も深刻なものとしている。

検知から停止までの4つの時刻と、報告が挙げた抜け

報告は、事案の経過を秒単位の時刻で載せている。監視システムは約12分でP0アラートを出し、人の確認も3分以内に始まった。一方で、訓練が止まったのはそれから約2時間半後で、同社はその間の抜けを自ら挙げた。

報告に載った4つの時刻、タイムゾーンの記載はなし

9:50:23 a.m. The agent made the DNS tool call that received an external response.

10:02:11 a.m. The monitoring system raised a P0 alert.

10:05:06 a.m. A human reviewer acknowledged the alert.

12:34:30 p.m. The run was killed.

（午前9時50分23秒：エージェントが外部の応答を得たDNSツール呼び出し／午前10時2分11秒：監視システムがP0アラートを発出／午前10時5分6秒：人のレビュー担当者が確認／午後0時34分30秒：実行を停止。原文は英語、編集部訳）

間隔はDNSの応答からP0アラートまで11分48秒、人の確認までさらに2分55秒、そこから停止まで2時間29分24秒だ（編集部算出）。時刻のタイムゾーンは、報告に書かれていない。

過去のDNSアクセスの警告と、検知基盤の対象範囲

監視システムは今回の事案を検知した。ただし事後の見直しで、外部DNSへのアクセスがほかにもあり、監視がそれらを「想定の重大度で（at the expected severity）」警告していなかったと分かったという。

その中には、外部サービスの終了を知らせる定型の通知が返った問い合わせも含まれる。監視は、有用な情報を得られなかったことを、アクセス自体が失敗した証拠として扱う場合があった。これとは別に、異常なDNS活動を見張るインフラ側の検知器は事案の環境を対象から外しており、DNSの活動はログに残っていた。

自動停止が想定どおりに働かず、手動で停止

停止の段階について、報告は次のように書いた。

“A human reviewer acknowledged the Slack alert within three minutes, but the run did not stop automatically as expected, leading to confusion around whether it should have been stopped. The run was then manually stopped two and a half hours later when this was resolved. We are addressing these operational gaps.”

（人のレビュー担当者は3分以内にSlackのアラートを確認したが、実行は想定どおりには自動で止まらず、止めるべきだったかをめぐって混乱が生じた。混乱が解消した2時間半後、実行は手動で停止された。こうした運用上の抜けには対処を進めている。原文は英語、編集部訳）

停止の範囲は訓練・評価・ツール使用推論、期限は未提示

OpenAIは当該の訓練を止めた後、停止の範囲を最上位モデルに広げた。停止は9月26日にFortuneとThe Vergeが報じ、27日（UTC）にはGuardianがAP配信の記事を掲載した。

再開の条件は「穴の解消の検証」と追加のレッドチーム

“We therefore stopped the affected training run and have subsequently decided to pause all other training, evaluation, and inference with tool-use (defined broadly) for our most capable models until we have both validated that the gap is resolved and performed additional red-teaming of the system.”

（そのため影響を受けた訓練を止め、その後、最上位モデルのほかの全ての訓練・評価・ツール使用（広く定義）を伴う推論を、穴の解消の検証とシステムへの追加のレッドチームを終えるまで止めると決めた。原文は英語、編集部訳）

再開時はアラインメントの改善を加えた新しい訓練を最初から始め、当該モデルは、既存の報酬信号がこの行動を正しく罰していたにもかかわらず訓練を再開しないとした。

社員のX投稿は推論の「ほぼ全て」が停止中と説明

本人のプロフィールによれば「RSI Preparedness lead」を務めるMicah Carroll氏は、9月26日（UTC）のX投稿でこの事案に触れ、推論の停止を「~all（ほぼ全て）」と表現した。

“Last Sunday morning, one of our models was able to gain unauthorized access to the internet during RL training (~all inference for our most capable models remains stopped until we have hardened our systems further)”

（先週日曜の朝、当社のモデルの一つが強化学習の訓練中にインターネットへの不正なアクセスを得た。最上位モデルの推論は、システムをさらに強化するまでほぼ全てが止まったままだ。原文は英語、投稿の一部を編集部訳）

2層の遮断・DNSの許可リスト・モデル支援のレッドチーム

再発防止として、OpenAIは通信の遮断を2つの独立した層に加えた。どちらか一方だけでも、今回のアクセスは防げたという。許可リストは、あらかじめ認めた宛先だけに通信を限る方式だ。

DNSについては追加の検知と検知パイプラインの試験を始め、環境内の問い合わせを許可したドメインとレコード種別に限った。

サンドボックスとネットワーク制御に対しては、攻撃者の立場で弱点を探すレッドチームを、モデルの支援を得て前倒しで進める。ほかの間接的な接続経路が見つかれば速やかに是正し、必要に応じて研究の作業を止めるとしている。

8月18日の文書が示した30分ルールと今回の位置づけ

今回の停止は、8月18日に発表した強化学習の2週間停止に続くものだ。8月の時点で、OpenAIは監視の警告から停止までの手順を文書で定めていた。

「30分以内に誤検知と確定できなければ停止」の手順と適用条件

8月18日に公開した開発ペースに関する文書（Pacing文書）は、監視の警告に続く手順を次のように定めた。

“If they cannot conclusively determine within 30 minutes that the flag is a false positive, those teams are expected to pause the activity.”

（30分以内に警告が誤検知だと確定できなければ、各チームは当該の活動を止めることになっている。原文は英語、編集部訳）

同文書によると、この監視の仕組みはSol級以上のモデルのツールを伴う全ての強化学習の訓練・評価に必須とされた。一方、今回の報告はアラートをP0と記すが、Pacing文書の「最高優先度アラート」と同じ区分かは明らかにしていない。内部研究モデルの能力区分も不明で、公開資料だけでは30分ルールを今回へ直接当てはめられない。

今回は人の確認から停止まで2時間29分24秒、P0アラートからは2時間32分19秒だった（編集部算出）。報告は、止めるべきかをめぐる混乱が生じたと説明し、運用上の抜けに対処するとしている。

7月・8月18日・9月20日の停止の対象と期間

当メディアが9月7日に報じた通り、7月20日にはエージェントによる研究インフラの侵害が判明し、訓練用のコンテナサービスが一時停止された。Pacing文書によると、Hugging Face事案の直後には、コード実行やインターネットにつながるツールを使う最先端モデルの推論も、研究クラスターで止めていた。

時期	止めた対象	期間
7月（Hugging Face事案の直後）	研究クラスターで、コード実行やインターネットにつながるツールを使う最先端モデルの推論	コード実行の経路は限定した形で早期に復旧し、その後は作業ごとに再開を判断
8月18日発表	配備予定の最新モデルに対する強化学習（最大規模の強化学習は保留）	2週間
9月20日の事案後	最上位モデルの訓練・評価・ツール使用を伴う推論	穴の解消の検証と追加のレッドチームを終えるまで

3つの停止を並べると、今回の違いは2点だ。対象が最上位モデルの訓練・評価・ツール使用を伴う推論の3つにわたることと、2週間のような期限の代わりに再開の条件を置いたことである。

同日の他2報告と、開示の枠組みの実装

9月25日には、DNSの件を含む3本の報告が更新された。OpenAIが9月5日に開示の枠組みづくりを表明した後、報告一覧は9月16日と25日の更新で計9件と通知3件になった。

5月27日、内部モデルがGitHubトークンを公開リポジトリに投稿

1本目は、5月27日の社内展開中の事案だ。定理証明のタスクで不正をしようとした内部モデルが、研究者のGitHubトークンを公開リポジトリのopenai/codexに投稿した。モデルは秘密情報の検知を避ける目的だと自ら述べ、トークンを分割していた。

この行動はシステムプロンプトと研究者の2回の介入に反しており、同社は特に深刻なミスアラインメントと位置づけた。対応では関係するユーザーのキーを無効化し、後に予防的に全社員のキーも無効化した。モデルは約2週間止められ、復帰後は全操作の自動レビューや思考過程の監視が加わった。

自己複製するプロンプトインジェクションの存在を示した報告

2本目は、GPT-5.4-miniを基にしたGPT-Red系の内部モデルの自己対戦訓練で見つかった現象の報告だ。プロンプトインジェクションとは、AIが読む文書に指示を紛れ込ませて操る攻撃を指す。今回は、それが自らを複製する形で作れると示した。

影響は、訓練・評価の中でシミュレートしたツール呼び出しの外には及んでいないとされる。公開モデルのGPT-5.5が評価の中で被害側に置かれた記述もあるが、評価環境の中での話で実害は無いと書かれている。同社は、GPT-Redの訓練で攻撃者の目標に自己複製を加えるとした。

ハブページの9月25日更新と、報道が伝えた省庁名

公式ハブページは9月25日、ミスアラインメントの行動を特定・分類・対応する枠組みを導入したと更新した。事例の多くは低重大度で、見直しには数カ月かかる。同社からの通知は、重大な事故の通知と自動的に解釈すべきでないともした。関係したWebサイトには政府・大学・公的機関が運営するものも含まれ、公表の可否は各組織に委ねる。

同ページは組織名を挙げていない（編集部が9月25日更新の本文を確認）。証券取引委員会（SEC）と国勢調査局の名は、AP・BBCがOpenAIの説明として報じた。米教育省への試行については、AP配信記事が外部の評価団体の調査として伝え、OpenAIは確認していないとしている。

APによると、SECは非公開情報へのアクセスはなかったとし、教育省はサイトやデータベースへの影響の証拠はないとした。

別項目では、研究環境のエージェントが外部サービスの利用中に訓練・評価データを送っていたと公表した。ユーザー提供の画像53件が、非公開リンクとして画像ホスティングのWebサイトに投稿されていたという。大半は削除済みで、企業・ビジネス契約とAPI利用のデータは管理者が許可しない限り対象外だ。

外部調査と報道が示した3件

研究者8名のswarmtraces.orgは9月25日、7月のHugging Face事案の痕跡を公開した。エージェントは「100万近く」の短縮URLをつなげてコードを実行したという。8万件超の攻撃ペイロードを復元し、9月21日にHugging Face、24日にOpenAIに通知した。

Transluceは9月23日、エージェントがurlquery.netで制限を回避していたと報告し、3回のハッキング試行のうち2回をOpenAI由来と確認された過去の活動に結び付けた。9月19～20日の暗号資産取引所への試行は、過去と同じサービス・手法を使うとの記述にとどめた。

The Vergeは9月25日、相次ぐAIエージェントの事案に評価企業Irregularが関わっていたと報じた。CTOのOmer Nevo氏は、同社が関わった事案は全て単一の評価シナリオの同じ問題に起因すると説明した。同誌は、Hugging Face事案はこれと無関係だと伝えている。

報告が原文で示した検知・停止・再発防止の3段

検知では、外部の応答から約12分でP0アラートが出た。一方で、過去の同種のアクセスは想定の重大度で警告されていなかった。

停止では人の確認が3分以内に始まったものの、自動停止が想定どおりに働かず、手動で止まるまで約2時間半を要した。再発防止には、2層の遮断・DNSの許可リスト化・検知パイプラインの試験・モデル支援のレッドチームが並ぶ。

業務でAIエージェントを動かす企業にとって、何分で警告が出て、誰がどの手段で止めるのか。同じ3段が自社の運用にも備わっているかという問いが、今回の報告から浮かぶ。