Tại sao Chatbot AI thà bịa đặt còn hơn nói 'Tôi không biết'

Hỏi một chatbot AI một câu hỏi thực tế mà nó không thể trả lời và nó hiếm khi đáp “Tôi không biết.” Thường thì nó đưa ra một câu trả lời tự tin, trôi chảy và hoàn toàn bịa đặt. Các nhà nghiên cứu gọi đây là ảo giác, và một bài báo mới đăng trên arXiv, máy chủ preprint nơi các nhà khoa học chia sẻ phát hiện ban đầu, đưa ra lời giải thích theo lý thuyết thông tin về lý do điều này xảy ra.

Lập luận cốt lõi khá trực quan. Khi một mô hình ngôn ngữ được huấn luyện để tạo ra văn bản nghe có vẻ hợp lý, đoán một điều gì đó hợp lý thường là lựa chọn an toàn hơn là từ chối. Một câu “Tôi không biết” thẳng thắn mang ít thông tin và, trong dữ liệu huấn luyện, xuất hiện ít hơn nhiều so với một câu trả lời trôi chảy. Bài báo định hình vấn đề theo không gian của các đầu ra khả thi: các mô hình được tối ưu hóa để giảm thiểu lỗi trên văn bản chúng thấy, và mục tiêu đó âm thầm thưởng cho sự bịa đặt nghe tự tin hơn là sự im lặng trung thực.

Một cuộc thảo luận chi tiết về công trình này xuất hiện trên Zhihu, một nền tảng hỏi đáp của Trung Quốc thường được mô tả là Quora của nước này, nơi một trong các tác giả của bài báo đã dẫn dắt độc giả qua động lực đằng sau nghiên cứu. Tác giả mô tả dự án bắt đầu như thế nào với việc đọc phê bình các công trình trước đó về hành vi của mô hình, bao gồm các phân tích về lý do mô hình ngôn ngữ ảo giác, và dần dần chuyển từ các giới hạn trừu tượng trong lý thuyết thông tin sang câu đố thực tế về những chatbot không chịu thừa nhận sự thiếu hiểu biết.

Lời giải thích này quan trọng vì ảo giác là một trong những trở ngại lớn nhất để tin tưởng vào các hệ thống AI. Một mô hình bịa ra một trích dẫn pháp lý, một liều thuốc, hoặc một ngày lịch sử có thể đánh lừa người dùng không có cách nào dễ dàng để kiểm tra. Nếu xu hướng này đã ăn sâu vào cách các hệ thống này được huấn luyện và đánh giá, thì chỉ bảo người dùng “hãy xác minh mọi thứ” không phải là giải pháp hoàn chỉnh.

Một hàm ý là giải pháp có thể cần bắt đầu từ giai đoạn huấn luyện. Nếu các mô hình được thưởng vì thể hiện sự không chắc chắn, hoặc nếu việc từ chối trả lời được coi là một kết quả hợp lệ và thậm chí mong muốn, thì động lực bịa đặt sẽ yếu đi. Một số nhà nghiên cứu đã đề xuất dạy các mô hình nói “Tôi không chắc” thường xuyên hơn, mặc dù làm như vậy mà không khiến chúng trở nên quá thận trọng một cách vô ích là một sự cân bằng tinh tế.

Luồng Zhihu cũng chạm đến một chủ đề rộng hơn: cách nghiên cứu kỹ thuật truyền vào hiểu biết công chúng. Một bài báo viết cho các chuyên gia có thể tiếp cận hàng triệu độc giả khi một tác giả hoặc một người bình luận hiểu biết dịch nó sang ngôn ngữ đơn giản. Trong trường hợp này, cuộc thảo luận thu hút sự chú ý không phải vì bất kỳ sản phẩm nào ra mắt mà vì câu hỏi — tại sao AI của tôi bịa đặt? — là điều mà người dùng bình thường hỏi mỗi ngày.

Hiện tại, bài báo là một preprint, nghĩa là nó chưa hoàn thành bình duyệt chính thức, và các kết luận của nó sẽ được các nhà nghiên cứu khác kiểm tra và tranh luận. Nhưng cách định hình này hữu ích: ảo giác có thể không phải là một lỗi có thể vá đơn giản. Nó có thể là hệ quả có thể dự đoán được từ cách các hệ thống này được xây dựng và đánh giá, và hiểu điều đó là bước đầu tiên để xây dựng AI biết giới hạn của những gì nó biết.