마이크로소프트, 직장 내 다른 AI 에이전트를 감시할 AI 에이전트 고용

기업들은 지난 2년 동안 AI 에이전트에게 경비 영수증 읽기, 환급 승인, 시스템 간 데이터 이동 같은 실제 업무를 맡겨왔다. 그러려면 에이전트는 문서를 열고 그 뒤의 소프트웨어를 조작할 권한이 필요하다. 문제는 작업을 잘못 이해하거나 잘못된 작업을 하도록 설득된 에이전트가 사람이 알아차리기 전에 기계의 속도로 피해를 줄 수 있다는 점이다.

10월 19일 마이크로소프트는 기업용 에이전트 보안 시스템인 프로젝트 퍼셉션에 새로운 감시 계층을 추가한다고 밝혔다. 감시자들 역시 AI 에이전트다. 이들은 다른 에이전트를 따라다니며 무엇을 하는지 확인하고, 뭔가 이상해 보이면 원인을 추적하고 권한을 회수하며 필요하면 작업 에이전트를 중단시킨다. 회사의 표현은 직설적이다. AI 내부자를 막으려면 또 다른 AI를 경비 근무에 배치하라.

이 조치는 기업이 자동화를 바라보는 방식의 변화를 반영한다. 에이전트 도구의 첫 물결은 자율성을 내세웠다. 모델이 전체 작업을 처리하게 하라는 것이다. 두 번째 물결은 감독을 판다. 환급 시스템에 접근하는 에이전트는 배지를 찬 작은 직원이며, 다른 직원처럼 그 업무를 검토할 누군가가 필요하다. 마이크로소프트의 답은 대시보드를 지켜볼 사람을 더 뽑는 대신 그 검토자를 저렴하고 지치지 않게 만드는 것이다.

이는 기업 위계의 중간층에 영향을 준다. 중간 관리자는 오랫동안 업무를 확인하고 실수를 잡아내며 예외를 상부로 올리는 계층이었다. 에이전트가 일상적 확인을 할 수 있다면 그 계층은 사라지는 것이 아니라 형태가 바뀐다는 논리다. 사람들은 정책을 설정하고, 무엇이 예외인지 정의하고, 모니터가 해결할 수 없는 사례를 처리하는 쪽으로 이동한다. 감시 에이전트는 의심스럽다고 고려하라는 지시를 받은 것만 알 뿐이다.

기술적 과제는 현실적이다. 경비 에이전트는 작업 에이전트가 무엇을 하려 했는지 이해해야 하며, 이는 같은 로그와 도구 호출을 읽어야 한다는 뜻이고, 지급이 나가기 전에 개입할 만큼 빨라야 한다. 오경보도 비용이 크다. 정당한 워크플로를 얼려버리는 과도한 모니터는 보호하려는 팀을 짜증나게 할 것이다. 마이크로소프트는 시스템이 언제 접근을 취소하고 언제 단순히 활동을 사람에게 알릴지 결정하는 방식을 공개하지 않았다.

기업들은 예의주시한다. 에이전트 배치가 이를 둘러싼 보안 도구보다 빠르게 늘고 있기 때문이다. 에이전트를 유용하게 만드는 권한이 바로 위험하게 만드는 권한이며, 에이전트가 감독 없이 무엇을 해도 되는지 명확한 규칙을 세운 기업은 드물다. 신뢰할 만한 답을 제시할 수 있는 공급업체, 즉 에이전트가 무엇을 했고 왜 중단됐는지 보여주는 기록을 포함한 업체는 영업이 수월하다.

현재 이 제품은 시장이 어디로 향하는지 보여주는 신호다. 에이전트 구축에서 에이전트 통치로. 다음으로 지켜볼 것은 고객이 감시 에이전트가 실제 문제를 잡았다고 보고하는지, 아니면 주로 사람이 무시하게 되는 경보만 생성하는지다.