एआई चैटबॉट 'मुझे नहीं पता' कहने के बजाय चीजें क्यों बनाते हैं
किसी एआई चैटबॉट से कोई तथ्यात्मक प्रश्न पूछें जिसका वह उत्तर नहीं दे सकता, और वह शायद ही कभी “मुझे नहीं पता” कहता है। अधिक बार वह एक आत्मविश्वासी, धाराप्रवाह और पूरी तरह से मनगढ़ंत उत्तर देता है। शोधकर्ता इसे भ्रम कहते हैं, और arXiv पर पोस्ट किया गया एक नया पेपर, जो प्रीप्रिंट सर्वर है जहां वैज्ञानिक शुरुआती निष्कर्ष साझा करते हैं, इसके होने का सूचना-सैद्धांतिक स्पष्टीकरण प्रदान करता है।
मुख्य तर्क आश्चर्यजनक रूप से सहज है। जब एक भाषा मॉडल को संभावित-सुनने वाला पाठ उत्पन्न करने के लिए प्रशिक्षित किया जाता है, तो कुछ प्रशंसनीय अनुमान लगाना अक्सर मना करने से अधिक सुरक्षित दांव होता है। एक सपाट “मुझे नहीं पता” बहुत कम जानकारी देता है और प्रशिक्षण डेटा में धाराप्रवाह उत्तर की तुलना में बहुत कम दिखाई देता है। पेपर समस्या को संभावित आउटपुट के स्थान के संदर्भ में प्रस्तुत करता है: मॉडल उस पाठ पर त्रुटि को कम करने के लिए अनुकूलित होते हैं जो वे देखते हैं, और यह उद्देश्य चुपचाप ईमानदार मौन पर आत्मविश्वासी-सुनने वाली मनगढ़ंत को पुरस्कृत करता है।
इस काम की विस्तृत चर्चा Zhihu पर हुई, जो एक चीनी प्रश्नोत्तर मंच है जिसे अक्सर देश का Quora का जवाब कहा जाता है, जहां पेपर के एक लेखक ने पाठकों को शोध के पीछे की प्रेरणा से परिचित कराया। लेखक ने बताया कि परियोजना मॉडल व्यवहार पर पहले के काम की आलोचनात्मक पढ़ाई से कैसे शुरू हुई, जिसमें भाषा मॉडल भ्रम क्यों पैदा करते हैं, इसका विश्लेषण शामिल था, और धीरे-धीरे सूचना सिद्धांत में अमूर्त सीमाओं से उन चैटबॉट की व्यावहारिक पहेली की ओर बढ़ी जो अज्ञानता स्वीकार नहीं करते।
यह स्पष्टीकरण मायने रखता है क्योंकि भ्रम एआई प्रणालियों पर भरोसा करने की सबसे बड़ी बाधाओं में से एक है। एक मॉडल जो कानूनी उद्धरण, चिकित्सा खुराक या ऐतिहासिक तारीख बनाता है, उन उपयोगकर्ताओं को गुमराह कर सकता है जिनके पास जांचने का आसान तरीका नहीं है। यदि यह प्रवृत्ति इन प्रणालियों के प्रशिक्षण और स्कोरिंग के तरीके में निहित है, तो उपयोगकर्ताओं को बस “सब कुछ सत्यापित करें” कहना पूरा समाधान नहीं है।
एक निहितार्थ यह है कि समाधान प्रशिक्षण चरण से शुरू होना पड़ सकता है। यदि मॉडलों को अनिश्चितता व्यक्त करने के लिए पुरस्कृत किया जाता, या यदि उत्तर देने से इनकार करना एक वैध और यहां तक कि वांछनीय परिणाम माना जाता, तो मनगढ़ंत बनाने की प्रेरणा कमजोर हो जाती। कुछ शोधकर्ताओं ने मॉडलों को अधिक बार “मुझे यकीन नहीं है” कहना सिखाने का प्रस्ताव दिया है, हालांकि उन्हें अनुपयोगी रूप से सतर्क बनाए बिना ऐसा करना एक नाजुक संतुलन है।
Zhihu थ्रेड ने एक व्यापक विषय को भी छुआ: तकनीकी शोध सार्वजनिक समझ में कैसे पहुंचता है। विशेषज्ञों के लिए लिखा गया पेपर लाखों पाठकों तक पहुंच सकता है जब कोई लेखक या जानकार टिप्पणीकार इसे सरल भाषा में अनुवाद करता है। इस मामले में, चर्चा ने किसी उत्पाद लॉन्च के कारण नहीं बल्कि इसलिए ध्यान आकर्षित किया क्योंकि सवाल — मेरा एआई चीजें क्यों बनाता है? — एक ऐसा है जो आम उपयोगकर्ता हर दिन पूछते हैं।
फिलहाल, पेपर एक प्रीप्रिंट है, जिसका अर्थ है कि इसने अभी तक औपचारिक सहकर्मी समीक्षा पूरी नहीं की है, और इसके निष्कर्षों का अन्य शोधकर्ताओं द्वारा परीक्षण और बहस की जाएगी। लेकिन ढांचा उपयोगी है: भ्रम शायद एक बग नहीं है जिसे बस पैच किया जा सकता है। यह इन प्रणालियों के निर्माण और स्कोरिंग के तरीके का एक पूर्वानुमेय परिणाम हो सकता है, और यह समझना उस एआई के निर्माण की ओर पहला कदम है जो जानता है कि वह क्या जानता है।