Hệ điều hành tác nhân mã nguồn mở của Thanh Hoa cắt giảm 83% chi phí tác vụ AI
Các tác nhân AI — những chương trình tự lập kế hoạch và thực hiện các tác vụ nhiều bước — đang gặp vấn đề về danh tiếng. Chúng quên những gì đã làm hai bước trước, lặp lại các cuộc gọi tốn kém đến các mô hình ngôn ngữ lớn và âm thầm đốt cháy ngân sách của công ty. Một nhóm tại Đại học Thanh Hoa cho rằng giải pháp không phải là một mô hình thông minh hơn mà là một nơi tốt hơn để các tác nhân sinh sống.
Phòng thí nghiệm Xử lý Ngôn ngữ Tự nhiên của trường (THUNLP), hợp tác với công ty AI ModelBest và cộng đồng mã nguồn mở OpenBMB, đã phát hành PilotDeck 2.0, một hệ điều hành mã nguồn mở được xây dựng riêng cho các tác nhân AI. Nhóm cho biết hệ thống này cắt giảm 83% chi phí vận hành các tác vụ tác nhân, chủ yếu bằng cách giảm các cuộc gọi mô hình dư thừa và quản lý những gì tác nhân ghi nhớ.
Bộ nhớ là tính năng nổi bật. Trong PilotDeck, bộ nhớ của tác nhân có thể được tìm kiếm và chỉnh sửa — người dùng hoặc nhà phát triển có thể tra cứu những gì tác nhân đã lưu trữ, sửa lại hoặc xóa đi. Điều đó quan trọng đối với các quy trình làm việc dài hạn, nơi một tác nhân ghi nhớ sai một chỉ dẫn ban đầu có xu hướng lặp lại lỗi đó trong toàn bộ tác vụ. Khả năng kiểm tra và thay đổi bộ nhớ đó biến một quá trình không rõ ràng thành thứ gần giống với một cuốn sổ tay chung.
Hệ thống cũng hỗ trợ gốc MCP, Giao thức Ngữ cảnh Mô hình, một tiêu chuẩn mở cho phép các mô hình AI kết nối với các công cụ và nguồn dữ liệu bên ngoài. Hỗ trợ gốc có nghĩa là một tác nhân chạy trên PilotDeck có thể kết nối với các dịch vụ bên ngoài mà không cần mã keo tùy chỉnh cho từng dịch vụ, một nguồn gốc phổ biến của sự mong manh trong các dự án tác nhân.
Bản phát hành này là một phần trong nỗ lực rộng lớn hơn của Trung Quốc hướng tới cơ sở hạ tầng tác nhân thay vì chỉ các mô hình lớn hơn. THUNLP là một trong những nhóm AI học thuật nổi tiếng nhất của đất nước, và ModelBest, một công ty khởi nghiệp liên kết với Thanh Hoa, đã xây dựng các mô hình nhẹ và bộ công cụ OpenBMB — nền tảng đằng sau một số dự án mã nguồn mở phổ biến. Việc đặt một lớp hệ điều hành giữa các mô hình và tác vụ là một canh bạc rằng điều phối, chứ không phải trí tuệ thô, là nơi những lợi ích tiếp theo sẽ đến.
Đối với các nhà phát triển toàn cầu, sức hấp dẫn là thực tế. Các khung tác nhân hiện nay bị phân mảnh và chi phí tăng nhanh khi một tác vụ yêu cầu hàng chục cuộc gọi mô hình. Một hệ thống tuyên bố cắt giảm chi tiêu đó hơn bốn phần năm trong khi vẫn giữ bộ nhớ có thể kiểm toán giải quyết hai trong số những phàn nàn phổ biến nhất từ các nhóm triển khai tác nhân trong sản xuất: tính không thể đoán trước và chi phí.
Con số 83% đáng được đối xử với sự thận trọng thông thường. Tiết kiệm chi phí phụ thuộc nhiều vào tác vụ, mô hình được sử dụng và cách tác nhân được cấu hình, và các đánh giá độc lập sẽ là bài kiểm tra thực sự. Tuy nhiên, việc mã nguồn mở hệ thống giúp bài kiểm tra đó dễ thực hiện hơn.
Tín hiệu lớn hơn là cuộc cạnh tranh đang hướng về đâu. Khi chất lượng mô hình hội tụ, cuộc chiến đang chuyển sang lớp quyết định mô hình nào làm gì, khi nào và với giá nào. Nếu hệ điều hành của Thanh Hoa thực hiện được dù chỉ một phần lời hứa của nó, làn sóng tác nhân AI tiếp theo có thể được đánh giá ít hơn về mức độ thông minh mà nhiều hơn về mức độ được quản lý tốt.