Microsoft Mempekerjakan Agen AI untuk Mengawasi Agen AI Lain di Tempat Kerja

Perusahaan telah menghabiskan dua tahun terakhir memberikan pekerjaan nyata kepada agen AI: membaca kuitansi pengeluaran, menyetujui penggantian biaya, memindahkan data antar sistem. Untuk melakukan semua itu, agen memerlukan izin membuka dokumen dan mengoperasikan perangkat lunak di baliknya. Masalahnya, agen yang salah membaca tugas, atau dibujuk melakukan hal yang salah, dapat menimbulkan kerusakan secepat mesin sebelum manusia menyadarinya.

Pada 19 Oktober, Microsoft mengatakan menambahkan lapisan pengawas baru ke Project Perception, sistem keamanannya untuk agen perusahaan. Pengawas itu sendiri adalah agen AI. Mereka mengikuti agen lain, memeriksa apa yang dilakukan, dan ketika ada yang tampak tidak beres, melacak penyebabnya, menarik kembali izin, dan jika perlu mematikan agen pekerja tersebut. Framing perusahaan sendiri blak-blakan: untuk menghentikan orang dalam AI, tempatkan AI lain sebagai penjaga.

Langkah ini mencerminkan pergeseran cara perusahaan memandang otomatisasi. Gelombang pertama alat agen menjual otonomi — biarkan model menangani seluruh tugas. Gelombang kedua menjual pengawasan. Agen dengan akses ke sistem penggantian biaya adalah karyawan kecil dengan lencana, dan seperti karyawan mana pun ia membutuhkan seseorang yang meninjau pekerjaannya. Jawaban Microsoft adalah membuat peninjau itu murah dan tak kenal lelah, bukan merekrut lebih banyak orang untuk memantau dasbor.

Itu berdampak pada lapisan tengah hierarki korporat. Manajer menengah telah lama menjadi lapisan yang memeriksa pekerjaan, menangkap kesalahan, dan mengeskalasi pengecualian. Jika agen dapat melakukan pemeriksaan rutin, argumennya, lapisan itu tidak hilang — ia berubah bentuk. Orang-orang naik ke penetapan kebijakan, mendefinisikan apa yang dianggap pengecualian, dan menangani kasus yang tidak dapat diselesaikan pemantau. Agen pemantau hanya tahu apa yang diperintahkan untuk dianggap mencurigakan.

Tantangan teknisnya nyata. Agen penjaga harus memahami apa yang ingin dilakukan agen pekerja, yang berarti membaca log dan panggilan alat yang sama, dan harus cukup cepat untuk campur tangan sebelum pembayaran keluar. Alarm palsu juga mahal: pemantau yang terlalu bersemangat membekukan alur kerja yang sah akan mengganggu tim yang seharusnya dilindungi. Microsoft belum mengungkapkan bagaimana sistem memutuskan kapan mencabut akses versus sekadar menandai aktivitas untuk manusia.

Perusahaan mencermati dengan saksama karena penerapan agen berkembang biak lebih cepat daripada perangkat keamanan di sekitarnya. Izin yang sama yang membuat agen berguna adalah yang membuatnya berbahaya, dan sedikit perusahaan yang telah membangun aturan jelas tentang apa yang boleh dilakukan agen tanpa pengawasan. Vendor yang dapat menawarkan jawaban kredibel — termasuk jejak kertas yang menunjukkan apa yang dilakukan agen dan mengapa dihentikan — memiliki tawaran penjualan yang lebih mudah.

Untuk saat ini produk ini adalah sinyal ke mana pasar bergerak: dari membangun agen menjadi mengaturnya. Hal berikutnya yang perlu diperhatikan adalah apakah pelanggan melaporkan agen pemantau menangkap masalah nyata, atau sebagian besar hanya menghasilkan peringatan yang akhirnya diabaikan manusia.