🔥HotNews.pub

微軟聘請 AI 代理來照看工作中的其他 AI 代理

HotNews 編輯部閱讀時間 2 分鐘HOT
微軟聘請 AI 代理來照看工作中的其他 AI 代理

過去兩年,企業一直把實際工作交給 AI 代理:讀取費用收據、批准報銷、在系統之間移動資料。要做到這些,代理需要權限來開啟文件並操作背後的軟體。問題在於,一個誤讀任務、或被誘導去做錯誤任務的代理,可能以機器速度造成損害,而人類還來不及察覺。

10 月 19 日,微軟表示正在為其企業代理安全系統 Project Perception 增加一層新的監視器。這些監視器本身就是 AI 代理。它們跟隨其他代理,檢查它們在做什麼,當發現不對勁時,追查原因、收回權限,必要時關閉該工作代理。該公司自己的說法很直白:要阻止 AI 內鬼,就派另一個 AI 站崗。

此舉反映了企業對自動化看法的轉變。第一波代理工具以自主性為賣點——讓模型處理整個任務。第二波則在賣監督。一個能存取報銷系統的代理,就像一個戴著識別證的小員工,而和任何員工一樣,它需要有人審查它的工作。微軟的答案是讓那位審查者既便宜又不知疲倦,而不是雇用更多人來盯儀表板。

這對企業層級的中間層有影響。中階主管長期以來就是負責檢查工作、發現錯誤並將例外情況上報的層級。如果代理能完成例行檢查,這種論點認為,該層級不會消失——而是改變形態。人們向上移動到制定政策、定義什麼算例外,以及處理監控器無法解決的案例。監控代理只知道它們被要求視為可疑的事。

技術挑戰是真實的。守衛代理必須理解工作代理試圖做什麼,這意味著要讀取相同的日誌和工具呼叫,而且必須快到能在付款發出前介入。誤報的代價也很高:一個過於熱心的監控器若凍結了合法的工作流程,會惹惱它本應保護的團隊。微軟尚未披露系統如何決定何時撤銷權限,還是僅將活動標記給人類。

企業正密切關注,因為代理部署的速度快過周圍的安全工具。讓代理有用的那些權限,也正是讓它危險的權限,而很少有公司為代理在無人監督下可以做什麼制定了明確規則。能提供可信答案的供應商——包括顯示代理做了什麼以及為何被停止的書面記錄——推銷起來更容易。

目前,這款產品是一個信號,表明市場正走向何方:從建構代理到治理代理。接下來要觀察的是,客戶是否回報監控代理抓到了真正的問題,還是大多產生最終被人類忽略的警報。

隨機開啟一篇文章

話題關聯圖譜

連線越粗代表共現越頻繁 · 點擊節點開啟標籤頁