Agen AI Gagal Diam-Diam, dan AWS Ingin Menangkapnya

Saat perusahaan bergegas mempekerjakan agen AI otonom, bahaya halus muncul: agen yang gagal diam-diam. Alih-alih mogok atau melambat, agen yang bermasalah terus membalas dengan kecepatan yang sama sementara kualitas jawabannya diam-diam menurun. Amazon Web Services mengatakan telah membangun cara untuk menangkapnya sebelum pelanggan menyadarinya.

Perusahaan memperkenalkan kerangka evaluasi sembilan tahap yang dibangun di atas Amazon Bedrock AgentCore, platformnya untuk menerapkan dan mengelola agen AI. Kerangka kerja ini dirancang untuk menguji agen dalam kondisi mirip produksi, memeriksa bukan hanya apakah mereka merespons, tetapi apakah respons mereka tetap akurat saat tugas menjadi lebih panjang dan kompleks. AWS menerbitkan detail pendekatan ini minggu ini.

Agen berbeda dari chatbot biasa karena mereka bertindak, bukan hanya berbicara. Mereka dapat menjelajahi web, memanggil alat perangkat lunak lain, menjalankan kode, dan menyelesaikan tugas multi-langkah dengan pengawasan manusia yang terbatas. Otonomi itulah yang membuat kegagalan diam-diam berbahaya: agen yang memesan rapat yang salah, salah membaca dokumen, atau membuat keputusan yang cacat dapat terus bekerja dengan percaya diri, dan dalam skala besar, tanpa ada yang menyadarinya.

Kerangka kerja ini menjalankan agen melalui sembilan tahap berbeda, dari penyiapan dasar hingga beban kerja realistis hingga pemantauan berkelanjutan. Pada setiap tahap, evaluator membandingkan output agen dengan hasil yang diharapkan, mengawasi jawaban yang memburuk, dan menguji bagaimana agen berperilaku ketika panggilan alat gagal atau permintaan ambigu. Tujuannya adalah mengubah kepercayaan yang samar menjadi sinyal terukur yang dapat ditindaklanjuti tim.

Kepercayaan menjadi tema sentral dalam penawaran AI raksasa cloud ini. AWS juga telah menjelaskan pendekatan berlapis yang disebut Trust in Depth, dibangun di sekitar lima ide: scope, know, bound, observe, dan prove. Tujuannya adalah memungkinkan agen mengambil lebih banyak pekerjaan tanpa kehilangan kendali, dengan membatasi apa yang dapat mereka akses, mendefinisikan apa yang mereka ketahui, membatasi tindakan mereka, mengawasi mereka dalam operasi, dan membuktikan apa yang mereka lakukan setelahnya.

Kerangka evaluasi siap produksi dengan Amazon Bedrock AgentCore cocok dengan dorongan yang lebih besar itu. AWS berpendapat bahwa perusahaan harus memperlakukan pengujian agen sebagai disiplin berkelanjutan daripada pemeriksaan satu kali sebelum peluncuran. Saat agen mengambil pekerjaan multi-langkah yang lebih panjang, kesenjangan antara jawaban cepat dan jawaban yang benar menjadi perbedaan antara otomasi yang berguna dan kesalahan yang mahal.

Industri yang lebih luas memperhatikan. Perusahaan ingin agen menangani lebih banyak pekerjaan, tetapi survei dan eksekutif berulang kali mengatakan mereka tidak sepenuhnya percaya agen untuk bertindak benar setiap saat. Perkakas yang membuat kualitas agen terlihat, bukan diasumsikan, bisa menjadi standar seperti halnya pemantauan kinerja untuk perangkat lunak konvensional.

Untuk saat ini, pesan dari AWS sederhana: agen yang tidak pernah error mungkin masih memburuk. Perusahaan bertaruh bahwa evaluasi bertahap yang ketat akan menjadi hal yang meyakinkan bisnis yang berhati-hati untuk menyerahkan tugas nyata kepada perangkat lunak yang berpikir dan bertindak sendiri.