マイクロソフト、職場の他のAIエージェントを監視するAIエージェントを導入

企業は過去2年間、AIエージェントに経費の領収書読み取り、払い戻しの承認、システム間のデータ移動といった実際の業務を任せてきた。それを行うには、エージェントは文書を開き、その背後のソフトウェアを操作する権限を必要とする。問題は、タスクを誤解したエージェント、あるいは誤ったタスクを言い含められたエージェントが、人間が気づく前に機械の速度で損害を及ぼし得ることだ。

10月19日、マイクロソフトは企業向けエージェントのセキュリティシステム「Project Perception」に新たな監視層を追加すると発表した。監視役もまたAIエージェントである。彼らは他のエージェントを追跡し、何をしているかを確認し、異常があれば原因を追跡し、権限を引き上げ、必要ならワーカーエージェントを停止する。同社の説明は率直だ。AIの内部関係者を止めるには、別のAIを警備に就かせる。

この動きは、企業の自動化に対する考え方の変化を反映している。エージェントツールの第一波は自律性を売りにした——モデルにタスク全体を任せよう。第二波は監督を売っている。払い戻しシステムへのアクセスを持つエージェントはバッジを持つ小さな従業員であり、他の従業員と同様、その仕事をレビューする誰かが必要だ。マイクロソフトの答えは、ダッシュボードを監視する人を増やすのではなく、そのレビュー担当を安価で疲れ知らずにすることだ。

これは企業階層の中間層に影響を与える。中間管理職は長らく、仕事を確認し、ミスを捕まえ、例外をエスカレーションする層だった。エージェントが定型の確認を行えるなら、その層は消えるのではなく形を変える、という議論だ。人々は政策を設定し、何を例外と見なすかを定義し、モニターが解決できないケースを処理する方へと移る。監視エージェントは、疑わしいと見なすよう指示されたことしか知らない。

技術的な課題は現実のものだ。ガードエージェントはワーカーエージェントが何をしようとしていたかを理解する必要があり、それは同じログとツール呼び出しを読むことを意味し、支払いが実行される前に介入できるだけの速さも必要だ。誤警報も高くつく。正当なワークフローを凍結する過剰なモニターは、守るべきチームをいら立たせる。マイクロソフトは、システムがいつアクセスを取り消すか、単に人間に活動を通知するだけかをどう判断するかは明らかにしていない。

企業は注視している。エージェントの導入は、それを取り巻くセキュリティツールよりも速く増えているからだ。エージェントを有用にする権限は、それを危険にする権限でもあり、エージェントが監督なしで何をしてよいかの明確なルールを築いた企業は少ない。信頼できる答え——エージェントが何をし、なぜ停止されたかを示す記録を含む——を提供できるベンダーは、営業で有利だ。

現時点でこの製品は、市場がどこへ向かうかのシグナルだ。エージェントの構築から、エージェントの統治へ。次に注目すべきは、顧客が監視エージェントが実際の問題を捕まえたと報告するのか、それとも主に人間が無視するアラートを生成しているだけなのかだ。