Microsoft нанимает ИИ-агентов для присмотра за другими ИИ-агентами на работе
За последние два года предприятия передали ИИ-агентам реальные задачи: чтение чеков, утверждение возмещений, перемещение данных между системами. Чтобы делать все это, агенту нужно разрешение открывать документы и управлять программным обеспечением, стоящим за ними. Проблема в том, что агент, который неправильно понимает задачу или которого уговорили на неверную, может нанести ущерб со скоростью машины, прежде чем человек это заметит.
19 октября Microsoft сообщила, что добавляет новый слой наблюдателей в Project Perception, свою систему безопасности для корпоративных агентов. Наблюдатели сами являются ИИ-агентами. Они следуют за другими агентами, проверяют, что те делают, и когда что-то выглядит подозрительно, отслеживают причину, отзывают разрешения и при необходимости отключают рабочего агента. Формулировка компании прямолинейна: чтобы остановить ИИ-инсайдера, поставьте другого ИИ на дежурство.
Этот шаг отражает сдвиг в том, как компании думают об автоматизации. Первая волна агентских инструментов продавалась под лозунгом автономности — пусть модель выполняет всю задачу. Вторая волна продает надзор. Агент с доступом к системе возмещений — это маленький сотрудник с пропуском, и, как любому сотруднику, ему нужен кто-то, проверяющий его работу. Ответ Microsoft — сделать такого проверяющего дешевым и неутомимым, вместо того чтобы нанимать больше людей для наблюдения за панелями мониторинга.
Это имеет последствия для середины корпоративной иерархии. Средние менеджеры долго были слоем, который проверяет работу, ловит ошибки и передает исключения наверх. Если агенты могут выполнять рутинную проверку, гласит аргумент, этот слой не исчезает — он меняет форму. Люди переходят к установлению политики, определению того, что считается исключением, и обработке случаев, которые мониторы не могут разрешить. Агенты мониторинга знают только то, что им сказали считать подозрительным.
Техническая задача реальна. Агент-охранник должен понимать, что пытался сделать рабочий агент, а значит, читать те же журналы и вызовы инструментов, и он должен быть достаточно быстрым, чтобы вмешаться до того, как уйдет платеж. Ложные тревоги тоже дорого обходятся: чрезмерно рьяный монитор, замораживающий законный рабочий процесс, будет раздражать команды, которые он призван защищать. Microsoft не раскрыла, как система решает, когда отзывать доступ, а когда просто помечать активность для человека.
Предприятия внимательно следят, потому что развертывания агентов множатся быстрее, чем инструменты безопасности вокруг них. Те же разрешения, которые делают агента полезным, делают его опасным, и мало кто из компаний выработал четкие правила того, что агент может делать без надзора. Поставщики, способные предложить убедительный ответ — включая документальный след, показывающий, что сделал агент и почему он был остановлен, — имеют более легкую задачу по продажам.
Пока продукт является сигналом о том, куда движется рынок: от создания агентов к управлению ими. Следующее, за чем стоит следить, — сообщают ли клиенты, что агенты мониторинга ловят реальные проблемы, или в основном генерируют оповещения, которые люди в итоге игнорируют.