Microsoft contrata agentes de IA para vigilar a otros agentes de IA en el trabajo
Las empresas han pasado los últimos dos años asignando a agentes de IA tareas reales: leer recibos de gastos, aprobar reembolsos, mover datos entre sistemas. Para hacer cualquiera de esas cosas, un agente necesita permiso para abrir documentos y operar el software que los sustenta. El problema es que un agente que malinterpreta una tarea, o que es convencido de hacer la incorrecta, puede causar daños a la velocidad de una máquina antes de que un humano lo note.
El 19 de octubre, Microsoft anunció que añadía una nueva capa de vigilantes al Proyecto Perception, su sistema de seguridad para agentes empresariales. Los vigilantes son ellos mismos agentes de IA. Siguen a los otros agentes, comprueban qué están haciendo y, cuando algo parece raro, rastrean la causa, retiran permisos y, si es necesario, apagan al agente trabajador. El planteamiento de la propia compañía es directo: para detener a un infiltrado de IA, pon a otra IA de guardia.
El movimiento refleja un cambio en cómo las empresas piensan sobre la automatización. La primera ola de herramientas de agentes se vendía por su autonomía: deja que el modelo se encargue de toda la tarea. La segunda ola vende supervisión. Un agente con acceso a un sistema de reembolsos es un pequeño empleado con una credencial y, como cualquier empleado, necesita a alguien que revise su trabajo. La respuesta de Microsoft es hacer que ese revisor sea barato e incansable, en lugar de contratar más personas para vigilar paneles de control.
Eso tiene implicaciones para el centro de la jerarquía corporativa. Los mandos intermedios han sido durante mucho tiempo la capa que revisa el trabajo, detecta errores y escala excepciones. Si los agentes pueden hacer la comprobación rutinaria, según el argumento, esa capa no desaparece: cambia de forma. La gente pasa a establecer políticas, definir qué cuenta como excepción y manejar los casos que los monitores no pueden resolver. Los agentes de monitoreo solo saben lo que se les dijo que consideraran sospechoso.
El desafío técnico es real. Un agente guardián tiene que entender qué intentaba hacer un agente trabajador, lo que significa leer los mismos registros y llamadas a herramientas, y tiene que ser lo bastante rápido para intervenir antes de que se realice un pago. Las falsas alarmas también son costosas: un monitor demasiado celoso que congela un flujo de trabajo legítimo irritará a los equipos que se supone debe proteger. Microsoft no ha revelado cómo decide el sistema cuándo revocar el acceso en lugar de simplemente señalar la actividad para un humano.
Las empresas están observando de cerca porque los despliegues de agentes se multiplican más rápido que las herramientas de seguridad que los rodean. Los mismos permisos que hacen útil a un agente son los que lo hacen peligroso, y pocas compañías han establecido reglas claras sobre qué puede hacer un agente sin supervisión. Los proveedores que puedan ofrecer una respuesta creíble —incluido un rastro documental que muestre qué hizo un agente y por qué se detuvo— tienen un argumento de venta más fácil.
Por ahora el producto es una señal de hacia dónde se dirige el mercado: de construir agentes a gobernarlos. Lo siguiente que hay que observar es si los clientes informan que los agentes de monitoreo detectan problemas reales, o si en su mayoría generan alertas que los humanos acaban descartando.