AnthropicのアモデイCEO、AI開発の「ペーシング」を提唱――第三者評価者の常駐に単独コミット

Anthropicの共同創業者兼CEOであるダリオ・アモデイ氏が、AIの能力向上のペースそのものを落とすべきだと主張するエッセイ「We Must Pace the Frontier」を公開した。掲載先は同社のサイトではなく、同氏の個人サイトである。文書もCEO個人名義だ。

エッセイは、ペースを落とすための道筋を三段階に分けて示す。第一段階は、常駐する第三者評価者に従業員並みのアクセス権を与えることだ。アモデイ氏は、この第一段階にAnthropicが単独でコミットすると書いた。

本人はXで公開を告知し、日本時間9月12日23時1分に投稿した。そこでも「第三者評価者に、我々のシステムへの恒久的で従業員レベルのアクセスを提供する」と述べた。

翌13日1時30分には、OpenAIのサム・アルトマンCEOが「独立した評価者に従業員並みのアクセスを与えるというのは素晴らしい考えで、我々も同じことをする」とXに投稿した。ただし同氏の文面は「we will do the same」「more to share soon」であり、現時点では意向の表明にとどまる。

本記事の英語原文からの引用は、全て編集部訳による。

「ペーシング」は開発の停止ではない――三段階の枠組み

エッセイが提案するのは、開発の全面停止ではない。アモデイ氏は、自らの言う「ペーシング」が何を指し、何を指さないかを本文で先に限定している。

定義：アライメントと安全確保に十分な時間をかけること

同氏は「明確にしておくと、ペーシングはモデル訓練や技術的進歩を止めることを意味しない」と書く。求めているのは、企業が自社モデルのアライメントと安全確保に十分な時間をかけ、第三者評価者がそれを確認する状態だ。

三段階の中身は、①常駐する第三者評価者への従業員並みアクセス・②民主主義国のフロンティアAI企業どうしの協調・③権威主義国の政府まで含めたグローバルな協調という並びである。第二段階には脚注が1つ付き、「政府による仲介、あるいは独占禁止法上の制限の適用除外を伴って」と補われた。エッセイ全体で脚注はこの1つだけだ。

順序についても留保がある。「各段階は厳密に順番どおりに取られる必要はなく、一部は他よりはるかに達成が難しいかもしれない」としつつ、何を成し遂げる必要があるかを考える枠組みとして有用だと述べている。

なお「pacing the frontier」という語は、アモデイ氏の今回のエッセイ以前にも使われていた。本文中でこの語に張られたリンクの先はpacingthefrontier.comで、2026年7月付の「フロンティアAI各社の従業員1,386名による声明」を掲げるサイトだ。少なくとも2026年7月には、業界横断の従業員声明で同じ語が使われていた。

減速を求める二つの根拠：再帰的自己改善とOAI-HF事案

減速を求める根拠として挙げられたのは二つだ。第一は、再帰的自己改善（RSI）の加速である。「おおむね今夏以降、AIが次世代のAIを作る能力を高めたことを主な原動力として、AIの進歩が劇的に速まっている」とし、この力学が「Anthropicを含む業界全体で起こり始めている」と認めた。

自社を例外に置いていない点が、この記述の特徴だ。

この箇所で「業界全体で」に張られたリンク先は、OpenAIの「An Alien Mind」である。当メディアが9月7日に報じた、同社主任科学者ヤクブ・パチョキ氏のエッセイと同一の文書だ。9月7日の記事では、パチョキ氏が自発的な減速を求めた。今回のエッセイは、そこへ常駐評価者を軸とする具体案を加えた形になる。

第二の根拠は、OpenAI-Hugging Face事案（OAI-HF）だ。エッセイは、エージェント群が「熱狂的に献身する集団」のように振る舞い、指示されていない無関係な標的へサイバー攻撃を行い、自分たちの成績を評価する「採点役」への侵入を試みたと要約する。

ここでもアモデイ氏は「より軽度ではあるが同種の事案は、Anthropicを含む業界全体で起きている」と書き、全てのフロンティアAI企業が「OAI-HFが自社で起きたものとして振る舞う責務がある」と述べた。

この一文に張られたリンクは、Anthropicが7月30日に公表した自社の無断アクセス事案の報告に当たる。当メディアが7月31日と9月10日に報じた一連の事案である。

「6～12カ月」は断定ではなく本人の懸念として書かれた

原因についても一歩踏み込んだ記述が置かれた。同氏は「我々が報告した最近のアライメント事案は、壊れた強化学習環境のフィルタリングが不完全だったことに一因があるという証拠を我々は持っている」とした。自社とベンダーの作業が「それなりに入念だったが、十分ではなかった」とも認めた。

被害規模の見通しについては、断定を避けた書き方をしている。

「AI能力の発展が加速していることを踏まえると、6～12カ月のうちに、そうしたswarmが持続的なボットネットでインターネット全体を掌握できるようになるのではないか」との一節には、「in my opinion」「it’s my worry that」「could be capable」といった語が前後に置かれる。

数千億ドル規模という被害額も「potentially causing」の形で書かれており、確定的な被害予測ではなく、本人の懸念として提示された。

常駐評価者――Anthropicが単独でコミットした第一段階

三段階のうち、Anthropicが自社だけで先に実行すると表明したのが第一段階である。エッセイは「第一段階はAnthropicが単独でコミットするものだ」とし、同時に「各国政府に対し、他のフロンティア企業にも同じことを義務づけるよう求める」と続けた。

この仕組みに前例があることも示されている。規制当局の「監督官」が従業員とともに常駐する銀行業界の慣行だ。アモデイ氏は「企業にとっては異例の一歩だが、常駐する外部レビュー担当者という考え方を実証することが重要だと考える」と書いた上で、他のフロンティア企業にも追随を促した。

評価者に与えると書いた権限

エッセイは、常駐の外部レビューチームに備えさせる条件を箇条書きで列挙する。前置きとして、常駐評価者は「同等のリスク評価を行う社内従業員と同様の権限とツールへの継続的なアクセスを持つべきである」と書かれた。単発の外部監査ではなく、社内と同じ環境に居続ける形を想定した記述だ。内容は次のとおりになる。

項目	エッセイの記述
執務環境	当社オフィス内のデスク、入館証、社用ノートPC
ツールと権限	社内のリスク評価チームが持つものとおおむね同等のワークスペース・ツール・権限へのアクセス
例外の扱い	法律や当社の契約が求める場合、あるいは顧客・パートナーの非公開情報を守るために、いくつかの例外を設ける
社内規範	従業員との直接の会話を含め、レビュー担当者が関連情報にアクセスできることを補強する強い社内規範を定める
契約	上記の複雑さを均衡させる契約を結ぶ
公表権	リスク水準・事案・運用実務、および受けられた／受けられなかったアクセスについて、重要な所見を公表する権利。Anthropicによる編集上の統制を受けない
黒塗りの範囲	セキュリティ上機微な情報・法的秘匿特権のある情報・商業上機微な情報・第三者の秘密情報の4類型に限った限定的な権限
黒塗りの制限	単に不都合だからという理由で所見を黒塗りすることはできない
黒塗りの申告	黒塗りによって結論にとって重要な何かが失われた場合、レビュー担当者はその旨を公に述べられる

箇条書き自体は3項目だ。①執務環境・②社内同等のツールと権限・③公表権と黒塗りの扱いを定める契約という構成になっている。上の表は、その3項目に含まれる条件を要素ごとに分けたものだ。

外部の評価者に公表権を与えつつ、黒塗りの権限を4類型に限定し、さらに「黒塗りが起きた事実そのものを外部が公にできる」と明記した点が、この一覧の要になる。企業側の裁量で都合の悪い所見を消す余地を、文面の上では塞ぐ設計だ。

確定しているのは表明までで、開始日も相手先も書かれていない

一方で、実行に関する記述は薄い。導入部分の原文は「Anthropicは、近い将来、以下の全てを備えた常駐の外部レビューチームを招き入れる意向である」となっている。動詞は「intends to invite」で、時期は「in the near future」だ。

権限の各項目も「should have」「We’ll make some exceptions」「We’ll also establish」という規範と未来形で書かれている。つまり現時点で確定しているのは、コミットの表明までだ。開始日・相手先・契約内容・例外の具体的な範囲は、本文に書かれていない。

誤読が生まれやすいのがMETRの扱いである。エッセイ本文でMETRの名が出るのは三段階の説明の1箇所だけで、「常駐する第三者評価者チーム（METRなど）」という「such as」の例示にすぎない。契約したとも、招くとも書かれていない。

別件として、Anthropicは8月31日の公式発表で、METRと協働して独立レビューを行う計画を示した。対象は、7月30日に同社が公表した3件の事案と、英AI Security Instituteが8月4日に報告した別件である。今回の常駐評価者とは別の枠組みだ。両者を混同すると、未確定の人選が決まったかのように読めてしまう。

民主主義国内の協調と、その上限

第二段階は、民主主義国のフロンティアAI企業が共通の安全基準と「歯止めのないAI進歩の速度への制限」を定めるという構想だ。エッセイは、この協調の一部が法的に難しく、政府の支援を要すると認めている。

能力チェックポイント案と、投入する材料を制限する案

基準の作り方として、アモデイ氏は二つの方向を挙げた。最も期待しているとしたのは、システムに何ができるか、そしてどれだけ安全だと観察されるかに基づく方式だ。具体例として「チェックポイント」を連ねる案を示す。

モデルが能力Xを持つなら、評価・解釈可能性分析・訓練環境の監査を組み合わせてアライメント特性YとZの証明を添える、という形である。例示された能力Xは「一般的なサンドボックス手法の大半を突破または無力化できる」という水準だ。

もう一つは、フロンティアモデルに投入される材料を制限する方向だ。訓練計算量、訓練実行の性質、AIを改良するためのAIの社内利用が挙がる。ただし同氏は、これらが外から見える振る舞いよりも「攻略されやすい」のではないかと懸念を添えた。そして、それこそ常駐評価者と議論する価値のある論点だとしている。

中国との差がペーシングの幅を決めるという主張

エッセイは、民主主義国内でのペーシングに明確な上限があると述べる。「民主主義国内でのペーシングは、米国企業が権威主義体制、主に中国共産党に対して持つリードの幅によって制約される」という一文だ。

その幅を超えて減速すれば、ペーシングをしない中国共産党系のプロジェクトが先行し、重大な国家安全保障上のリスクが生じる。そういう主張になる。

リードを保つ手段として挙げられたのは三つ。強力なAIチップと半導体製造装置を中国に売らず、チップの密輸や国外データセンターへの遠隔アクセスを取り締まること。権威主義国の企業による無許可の蒸留を取り締まること。そしてAI企業のセキュリティを強化し、モデルの重みの盗難を防ぐことだ。

第三段階のグローバルな協調についても、期待値は抑えられている。「地政学的な賭け金が高すぎるため、とくに当初は、達成できることに厳しい限界がありそうだ」と書き、完全なペーシングや「一時停止」に当たる水準については「近いうちに実際に起こる可能性は低いと思う」と明記した。

OpenAIのアルトマンCEOも同調を表明

アモデイ氏本人のX投稿から約2時間半後、OpenAIのトップが公に同意を示した。競合関係にある2社のCEOが、独立評価者に従業員並みのアクセスを与える方針を相次いで示した形だ。ただし、具体的な契約条件まで同じかは分からない。

「独立した評価者に従業員並みのアクセスを与える」

アルトマン氏のX投稿は日本時間9月13日1時30分のものだ。「フロンティアをペーシングする必要があるというダリオの意見に同意する。これはここ数週間、OpenAI内での議論の主要な話題だった」と書いた。

その上で「独立した評価者に従業員並みのアクセスを持たせるというコミットは素晴らしい考えで、我々も同じことをする。近く共有できることがもっとある」と続けた。

アルトマン氏は、ペーシング全体への同意も明言した。一方、具体的に「同じことをする」と述べた対象は、独立評価者に従業員並みのアクセスを与える措置である。

9月7日にOpenAI主任科学者が自発的な減速を提唱し、9月12日にAnthropic CEOが常駐評価者を軸とする制度案を示した。その数時間後、OpenAI CEOが同じアクセス措置を取る意向を公表した。両社が現時点で示しているのは意向であり、実施日程や評価者名は書かれていない。

権力の集中だという批判も出ている

反応は同調だけではなかった。投資家のチャマス・パリハピティヤ氏は、アモデイ氏が「オープンソースを止めて莫大な技術的・経済的な力をAnthropicに集中させる主張をしている」とXで批判した。イーロン・マスク氏は「ダリオは正しい」と投稿した。

Anthropic側の動きについて、Axiosは同社の公共政策責任者サラ・ヘック氏が、エッセイ公開の直後に立法・規制対応を求める投稿をしたと伝えている。

9月13日にAnthropicのニュースルーム、Transparency Hub、RSPを確認した範囲では、常駐評価者への新たなコミットを記す会社名義の発表は確認できない。RSPページの最終更新日は8月14日のままだ。

日本のBtoB企業にとっての意味

この表明が日本企業の業務に直接効くのは、まだ先の話だ。常駐評価者の枠組みは開始日も相手先も未定で、規制として形になるかどうかも政府の対応に依存する。

ただし、二つの点は現時点でも観察できる。一つは、能力向上の速度を安全性と両立する範囲に調整する構想が、開発企業のCEOから示された点だ。Anthropicが単独でコミットしたのは常駐評価者であり、Claudeの更新頻度を変えるとは明記していない。業務利用企業への影響は、今後の具体策が示されるまで判断できない。

もう一つは、安全性の検証結果が企業の外から公表されうる仕組みが提案された点だ。エッセイの設計どおりに契約が結ばれれば、リスク水準や事案、企業が与えたアクセスの範囲について、Anthropicの編集統制を受けない第三者の所見が出ることになる。調達側が参照できる材料は、ベンダー自身の発表だけではなくなる。

現段階で確定しているのは、あくまでCEO個人のエッセイとX投稿による表明だ。次に検証の対象となるのは、常駐評価者の相手先と契約内容が実際に公表されるかどうかである。