Các tác nhân AI đang thất bại âm thầm và AWS muốn phát hiện điều đó
Khi các công ty đổ xô đưa các tác nhân AI tự động vào làm việc, một mối nguy hiểm tinh vi đang xuất hiện: các tác nhân thất bại âm thầm. Thay vì bị treo hoặc chậm lại, một tác nhân đang gặp khó khăn vẫn tiếp tục trả lời với tốc độ như cũ trong khi chất lượng câu trả lời của nó âm thầm suy giảm. Amazon Web Services cho biết họ đã xây dựng một cách để phát hiện điều đó trước khi khách hàng nhận ra.
Công ty đã giới thiệu một khung đánh giá chín giai đoạn được xây dựng trên Amazon Bedrock AgentCore, nền tảng của họ để triển khai và quản lý các tác nhân AI. Khung này được thiết kế để kiểm tra các tác nhân trong điều kiện giống như môi trường sản xuất, không chỉ kiểm tra xem chúng có phản hồi hay không mà còn xem các phản hồi của chúng có còn chính xác khi nhiệm vụ trở nên dài hơn và phức tạp hơn hay không. AWS đã công bố chi tiết về cách tiếp cận này trong tuần này.
Các tác nhân khác với chatbot thông thường ở chỗ chúng hành động chứ không chỉ nói. Chúng có thể duyệt web, gọi các công cụ phần mềm khác, chạy mã và hoàn thành các nhiệm vụ nhiều bước với sự giám sát hạn chế của con người. Chính sự tự chủ đó khiến việc thất bại âm thầm trở nên nguy hiểm: một tác nhân đặt sai cuộc họp, đọc sai tài liệu hoặc đưa ra quyết định sai lầm có thể tiếp tục làm việc một cách tự tin, và ở quy mô lớn, mà không ai nhận ra.
Khung này chạy một tác nhân qua chín giai đoạn riêng biệt, từ thiết lập cơ bản đến khối lượng công việc thực tế cho đến giám sát liên tục. Ở mỗi giai đoạn, người đánh giá so sánh đầu ra của tác nhân với kết quả mong đợi, theo dõi các câu trả lời bị suy giảm và kiểm tra cách tác nhân hành xử khi một lệnh gọi công cụ thất bại hoặc một yêu cầu không rõ ràng. Mục tiêu là biến sự tin tưởng mơ hồ thành các tín hiệu đo lường được mà các nhóm có thể hành động.
Sự tin tưởng đang trở thành chủ đề trung tâm trong các dịch vụ AI của gã khổng lồ đám mây này. AWS cũng đã mô tả một cách tiếp cận nhiều lớp có tên Trust in Depth, được xây dựng xoay quanh năm ý tưởng: phạm vi, hiểu biết, giới hạn, quan sát và chứng minh. Mục đích là để các tác nhân đảm nhận nhiều công việc hơn mà không mất kiểm soát, bằng cách giới hạn những gì chúng có thể truy cập, xác định những gì chúng biết, hạn chế hành động của chúng, theo dõi chúng trong quá trình hoạt động và chứng minh những gì chúng đã làm sau đó.
Một khung đánh giá sẵn sàng cho sản xuất với Amazon Bedrock AgentCore phù hợp với nỗ lực lớn hơn đó. AWS lập luận rằng các công ty nên coi việc kiểm tra tác nhân là một kỷ luật liên tục thay vì kiểm tra một lần trước khi ra mắt. Khi các tác nhân đảm nhận các công việc nhiều bước dài hơn, khoảng cách giữa một câu trả lời nhanh và một câu trả lời đúng trở thành sự khác biệt giữa tự động hóa hữu ích và những sai lầm tốn kém.
Ngành công nghiệp rộng lớn hơn đang chú ý. Các doanh nghiệp muốn các tác nhân xử lý nhiều công việc hơn, nhưng các cuộc khảo sát và giám đốc điều hành liên tục nói rằng họ không hoàn toàn tin tưởng các tác nhân sẽ hành động đúng mọi lúc. Các công cụ giúp chất lượng tác nhân trở nên rõ ràng thay vì chỉ được giả định có thể trở thành tiêu chuẩn như giám sát hiệu suất đối với phần mềm thông thường.
Hiện tại, thông điệp từ AWS rất đơn giản: một tác nhân không bao giờ mắc lỗi vẫn có thể đang trở nên tồi tệ hơn. Công ty đang đặt cược rằng việc đánh giá theo giai đoạn nghiêm ngặt sẽ là điều thuyết phục các doanh nghiệp thận trọng giao các nhiệm vụ thực sự cho phần mềm biết suy nghĩ và hành động tự chủ.