MicrosoftのNadella CEO、AIモデルを「内部関係者リスク」として扱う統制を提唱。制御の外部化と利用側の責任に言及

MicrosoftのSatya Nadella CEOは米国時間10月10日、X上で長文の記事「Models as Insider Risks in the Super Intelligence Era」を公開した。本人の個人ブログ「sn scratchpad」にも、同じ文章が掲載されている。

Nadella氏は投稿で、クローズドとオープンウェイトの両方のフロンティアモデルを内部関係者リスク（insider risk）として扱うよう提唱した。オープンウェイトは、学習済みの重みを公開したモデルを指す。理由は必ずしも悪意があるからではなく、能力のある主体は誤りを犯し、侵害されうるからだという。

その上で、モデルがアクセスできる範囲ととれる行動の制御は、モデルの外に置かなければならないと書いた。可観測性を軸にした7つの原則も挙げている。一方、今回確認した本人ブログの本文には、Microsoft製品への実装手段・実施時期の記載は見当たらない。

本稿では、投稿の原文に沿って問題設定・中心の主張・7つの原則を整理する。あわせて、投稿と製品の実施計画の関係・報道の受け止め・Anthropicの報告やSI Forceの要求との接点を示す。

投稿が示したAIモデルへの信頼の問題設定

Nadella氏は、従来のソフトウェアと現在のAIモデルの違いから議論を始めた。挙動の理由をたどれないモデルに、重要な権限を与えている点を問題にしている。

挙動を訓練データや重みにたどれないモデル

Nadella氏によると、過去数十年に経済全体に広がった従来のソフトウェアには、挙動を特定のコードの経路までたどる道具と能力があった。現在のSuper Intelligenceのシステムには、そうした仕組みの理解が及ばないという。

Nadella氏は、フロンティアモデルが従来のソフトウェアより高い能力を持つと述べた。それでも、モデルの挙動や出力を、訓練データの特定の入力やモデルの重みの構成に帰属させることはできないと書いた。

今回確認した本文では、AIをSuper Intelligence（超知能）やSIと呼んでいる。本文中に、この語の定義は見当たらない。

機密データと重要な操作の権限を与えている現状

Nadella氏は、こうした複雑なエージェント型のシステムとモデルに、最も機密性の高いデータへのアクセスを与えていると指摘した。さらに、人に代わって重要な操作を実行する能力も持たせているという。

エージェントは、人の指示を受けて複数の手順を自ら実行するAIの仕組みを指す。Nadella氏はこの現状を踏まえ、新しい時代の信頼のアーキテクチャを見直す時期に来たと書いた。

モデル提供元の保証と利用側の責任に関する主張

Nadella氏は、AIが自分たちに代わって行うことへの責任は、外部に任せられないと書いた。モデル提供元の保証があっても、その責任は免れないという。

さらに、Super Intelligenceを入れ子のブラックボックスとして扱い、その推奨・回答・行動を受け入れるか拒むかだけで済ませることはできないとした。本人が必要とするのは、挙動を観察でき、限界を試せて、行動を常に封じ込められるシステムだ。

知能の供給と権限を分けるという中心の主張

投稿の中心にあるのは、モデルが提供する能力と、モデルに与える権限を切り分ける考え方だ。Nadella氏はこの考え方を、企業が内部の主体を管理するために既に持つ慣行の延長に置いた。

決定論的な設計・人の制御・運用手順でモデルを囲む

Nadella氏は、知能の供給とそれに対する権限を分ける必要があると書いた。

アラインメント（モデルを人の意図に沿わせること）の難題はいったん脇に置き、封じ込めと統治に工学的に取り組むことから始めるという。具体的には、非決定論的なモデルを、強固で決定論的なシステム設計・人による制御・信頼できる運用手順で囲む。

決定論的とは、同じ入力に対して常に同じ結果を返す性質を指す。既存の標準が足りない分野では、業界標準を確立する必要があるとも書いた。

誤りや侵害を想定した内部関係者リスク

こうしたシステムを築く方法として、Nadella氏はフロンティアのクローズドモデルとオープンウェイトモデルを、内部関係者リスクのように扱うことを挙げた。モデルをこのように扱うのは、必ずしもモデルに悪意があるからではないという。

重要なシステムにアクセスできる十分に能力のある主体は、誤りを犯すこともあれば、侵害されることもある。封じ込めと制御の設計は、その可能性を織り込む必要があるとした。

ID・権限・ログ・封じ込め境界という既存の慣行

Nadella氏は、企業の内部にいる強い力を持つ主体の扱い方について、既に多くを学んできたと書いた。数十年かけて確立し磨いてきた慣行として、IDの確立・権限の制限・活動の記録（ログ）・封じ込め境界の設定を挙げている。

投稿は続けて、これらと同じ原則を企業内部のSIに適用し始めていると書いた。この文の主語は「私たち（we）」で、本文の中でMicrosoftに限定されてはいない。

CoTの透明性は譲れないが不十分とする見方

Nadella氏によると、適用はモデルのCoTの透明性を譲れない条件とするところから始まる。CoT（Chain of Thought）は、モデルが文章として生成する段階的な推論を指す。

本人はNeuraleseを、モデルの推論が不透明であってよい理由にはできないとも書いた。一方で、CoTの透明性だけでは十分でも確実でもないという。モデルの出力そのものを、一貫して忠実で透明なものにする方法が、まだ分かっていないためだ。

モデル同士の相互検証と入れ子のブラックボックス

Nadella氏は、モデル同士に敵対的なテストと検証をさせることを勧めた。ただし、そうすると不透明なオーケストレーション層の中の不透明なモデルを、別の不透明なモデルが監視する形になりうる。本人はこの状態を、本質的に入れ子のブラックボックスだと表現した。

オーケストレーション層は、複数のモデルやツールの作業を束ねて指揮する仕組みを指す。Nadella氏の指摘は、相互検証を重ねても、検証する側とされる側の両方が中身の見えない仕組みのままになる点にある。

アクセスと行動の制御をモデルの外に置く

相互検証の限界を踏まえ、Nadella氏は、モデルがアクセスできる範囲ととれる行動を管理する制御は、モデルの外になければならないと書いた。

プログラムは、自らの権限を強制する仕組みを迂回したり改ざんしたりできてはならないという。本人によると、この考え方は1970年代に遡る情報セキュリティの原則に基づく。

現在に当てはめると、モデルを、その作業を指揮するハーネスからも、モデルにできることを定める行動空間からも切り離すことになるという。制御と安全策をモデルの外部に出すことも含むとした。

可観測性を軸にした7つの原則

Nadella氏は、こうしたシステムを可観測性の原則を中心に設計する必要があるとして、7つの項目を示した。可観測性は、システムの内部で何が起きているかを外から把握できる性質を指す。

7つの原則の項目名と要旨

投稿が挙げた7つの項目と、それぞれの要旨は次の通りだ。

• Model diversity（モデルの多様性）：重要な結果を一つのモデルだけに依存させず、モデル自身に自らの作業を検証させない。
• Observe everything（全てを観察する）：意味のあるモデルの行動は全て、改ざんできず人が読める証拠を残す。結果に至った経緯は、モデル自身の証言に頼らず再現できるようにする。
• Verifiability（検証可能性）：成功したタスクだけでなく、失敗・攻撃・境界的な条件・システムの変更を含めて、システム全体を継続的にテストする。
• Independent controls（独立した制御）：モデルが何にアクセスでき、どの行動をとれるかを、組織が独立して決められる状態を保つ。
• Independent auditability（独立した監査可能性）：検証は、検証される側の知能から独立させる。単一のモデルに、システムの挙動と、その挙動を判断する証拠の両方を握らせない。
• Containment（封じ込め）：モデルが侵害されていると想定し、最初から封じ込める。権限を持つ人が、タスクの途中でもモデルを一時停止・停止できるようにする。
• Incident disclosure（事故の開示）：失敗や侵害が起きたときの、影響を受ける人への適時の開示。何が起きたか・どの制御が機能しなかったか・再発をどう防ぐかを業界全体で共有する。

改ざんできない証拠と独立した監査

Observe everythingの項目で、Nadella氏は、観察できないものは信頼できないと書いた。意味のあるモデルの行動には、改ざんできず人が読める証拠を残す必要があるという。結果に至った経緯は、モデルの自己申告に頼らず再現できなければならないとした。

Independent auditabilityの項目でも、検証は検証される側の知能から独立していなければならないとしている。単一のモデルが、システムの挙動と、その挙動が当初の意図に沿っているかを判断する証拠の両方を支配することを避ける考え方だ。

侵害されている前提で最初から封じ込める

Containmentの項目は、モデルが侵害されていると想定し、最初から封じ込めることを求める。Nadella氏はこの考え方を、緊急ブレーキのようなものにたとえた。権限を持つ人が、タスクの途中でも常にモデルを一時停止または停止できるようにするという内容だ。

既存の慣行として挙げた封じ込め境界の設定に対し、Containmentの項目は、モデルが侵害されているという前提を最初から置く。より高度なモデルには、より高度な封じ込め技術が必要になり、その技術を標準化する必要があるとも書いた。

事故の適時開示と業界全体での教訓共有

Incident disclosureの項目は、システムが失敗したり侵害されたりしたときの対応を扱う。影響を受ける人への適時の開示に加え、何が起きたか・どの制御が機能しなかったか・再発をどう防ぐかを共有する仕組みが必要だという。

Nadella氏は、学んだことを業界全体で共有するとした。開示には、実行時にエージェントの挙動を変える実装の詳細も含めるとしている。

投稿とMicrosoftの実施計画・報道・関連事案の関係

投稿はモデルの封じ込めと統治を提唱する文章だ。今回確認した本人ブログの本文には、Microsoft製品への実装手段や実施時期の記載は見当たらない。

本文の設計要件とMicrosoft製品の実施計画

本文にはID・権限・ログ・停止手段といった設計要件がある。一方、今回確認した本文では、Microsoftの社名とEntra・Agent 365・Purview・Azure・Copilot・Defenderの製品名は見当たらなかった。

Microsoft Sourceのニュース一覧には、10月10日付で本人の関連投稿へのリンクがある。ただし、この掲載だけで製品の実施計画が発表されたとは判断できない。

企業内部への適用を述べた一文の主語

Nadella氏は、同じ原則を企業内部のSIに適用し始めていると書いた。この文の主語はweだが、今回確認した本文では、その対象がMicrosoftであるとは明示されていない。

直前の文では、企業内部の主体の管理について学んできたと述べている。企業や業界の一般を指す読み方もあり、Microsoftの取り組みを含むかどうかは本文だけでは確定できない。

The VergeとCNBCが伝えた内容

The Vergeは見出しで、Nadella氏が「全てのAIモデルは『侵害されている』と想定すべきだと述べた」と伝えた。

The Vergeの記者は、提言の多くが業界の他の関係者から聞かれてきた内容と一致するとし、封じ込めの点では他の一部より少し踏み込んでいるようだと評した。

CNBCは「緊急ブレーキ」を見出しに取り、Bill Gates氏・Dario Amodei氏・Sam Altman氏・Elon Musk氏を含むテック企業の幹部や研究者が、AIの安全対策の不足や技術の進み方の速さを警告する中での発言だと位置づけた。

Anthropicの報告・SI Forceの開示要求と重なる論点

投稿の前日の10月9日、Anthropicは、Claudeが評価と社内利用の中で、外部の実在するWebサイトやシステムに意図しない行動をとった事例を公表した。

同じ日にAxiosは、米政府側のSuper Intelligence Force（SI Force）が、モデルに関わる事案の即時開示と是正を企業に求める声明を報じている。

今回確認したNadella氏の本文に、どちらへの言及も見当たらない。ただし、モデルが外部に意図しない行動をとったときの封じ込めと、事故の開示という論点は、投稿のContainment・Incident disclosureの項目と重なる。

エージェントを使う日本企業から見て確認できること

今回確認した本文には、特定の製品への実装手段は見当たらない。ただし、挙げた要素はID・権限・ログといった、企業が既に使っている統制の言葉で書かれている。

投稿の要素を確認項目に置き換えた整理

AIエージェントに業務を任せる企業から見ると、投稿の要素は次の確認項目に置き換えられる。以下は、投稿を基にした編集部の整理だ。

• エージェントのID：業務を任せるエージェントごとに、IDが確立されているか。
• 権限の制限：エージェントがアクセスできるデータと実行できる操作が、業務に必要な範囲に制限されているか。
• 活動のログ：エージェントの意味のある行動が、改ざんできず人が読める形で記録されているか。
• 封じ込め境界と停止の手段：エージェントの影響が及ぶ範囲が区切られ、権限を持つ人がタスクの途中でも止められるか。
• モデルの外にある制御：アクセスと行動の制御が、モデル自身ではなく外部の仕組みで管理されているか。
• 独立した検証：結果の検証を、作業したモデル自身に任せていないか。
• 事故の開示：失敗や侵害が起きたとき、影響を受ける相手に開示し、原因を共有する手順があるか。

Nadella氏は、モデル提供元の保証では利用する側の責任は免れないと書いた。この主張に沿って読むと、これらの項目は、モデルを使う側も確認する論点だと読める。

同じ考え方のMicrosoft製品と投稿の関係

今回確認した本文では、Microsoftの製品名は見当たらない。一方、同社は投稿の前から、AIエージェントのID・最小権限・監査を扱う製品の文書を公開している。エージェントのIDと権限を管理するMicrosoft Entra Agent IDと、登録・監査とログ・アクセス制御を掲げるMicrosoft Agent 365だ。

業界標準と封じ込め技術の標準化は提唱の段階

Nadella氏は、既存の標準が足りない分野で業界標準を確立する必要があると書いた。Containmentの項目でも、より高度な封じ込め技術を標準化する必要があるとしている。今回確認した本文には、標準化を担う団体・対象となる標準名・期限の記載は見当たらない。

投稿は次の一文で結ばれている。最も信頼できるSuper Intelligenceのシステムは、最も信頼するモデルを持つシステムではない。モデルを最も信頼せずに済むようにするシステムだという。