आपका चैटबॉट बस अगले शब्द का अंदाज़ा लगा रहा है। तो फिर वह इतना अच्छा क्यों है?

किसी आधुनिक चैटबॉट से क्वांटम यांत्रिकी समझाने को कहिए, और वह समझा देगा। उसी से पूछिए कि “strawberry” में “r” अक्षर कितनी बार आता है, और वह पूरे आत्मविश्वास से आपको बता सकता है, दो बार।

यह फ़र्क (एक ही साँस में प्रतिभा और चूक) कोई ऐसा बग नहीं जिसे आप पैच करके ठीक कर दें। यह सीधे इसी से निकलता है कि ये प्रणालियाँ असल में कैसे काम करती हैं। और राज़ इतना सीधा है कि लगभग अपमानजनक लगे।

यह ऑटोकम्प्लीट है। बेहद अच्छा ऑटोकम्प्लीट।

एक बड़ा भाषा मॉडल ठीक एक ही काम करता है: कुछ टेक्स्ट दिए जाने पर, वह अगले हिस्से का अनुमान लगाता है। फिर वह हिस्सा जोड़ देता है, नए कुल को देखता है, और अगले का अनुमान लगाता है। और फिर से। और फिर से, सैकड़ों बार, जब तक वह आपके लिए एक पूरा निबंध न लिख दे।

बस इतना ही। यही पूरा जादू है। आपके फ़ोन का कीबोर्ड इसका एक भोंडा रूप तब करता है जब वह अगले शब्द का सुझाव देता है। ChatGPT वही विचार है, बस लगभग अकल्पनीय पैमाने तक बढ़ाया हुआ, इंटरनेट, किताबों और कोड के एक विशाल हिस्से पर तब तक प्रशिक्षित कि उसके अंदाज़े अजीब हद तक अच्छे हो गए।

यह तथ्यों के किसी डेटाबेस से सलाह नहीं ले रहा। यह किसी समस्या पर वैसे तर्क नहीं कर रहा जैसे आप करते हैं। यह हर सेकंड अरबों बार बस यही पूछ रहा है, अब तक जो कुछ है उसे देखते हुए, सबसे भरोसेमंद ढंग से अगला शब्द कौन-सा आता है?

शब्दों का अंदाज़ा लगाना दिखने में प्रतिभा जैसा क्यों बन जाता है

जो पेच इसे कारगर बनाता है वह यह है: पूरी मानवीय लेखनी में अगले शब्द का सचमुच बढ़िया अनुमान लगाने के लिए, किसी प्रणाली को उस लेखनी के नीचे छिपे पैटर्न आत्मसात करने ही पड़ते हैं। इसका मतलब है व्याकरण, यह कि कौन-से तथ्य साथ-साथ आने का चलन रखते हैं, किसी तर्क की बनावट, किसी चुटकुले की लय।

जिस खोज ने इसे मुमकिन बनाया वह थी 2017 की एक बनावट, जिसे ट्रांसफ़ॉर्मर कहते हैं। इसने मॉडलों को यह तौलने की ताकत दी कि किसी अंश का हर शब्द बाकी हर शब्द से कैसे जुड़ा है, यानी बाएँ से दाएँ सख्ती से पढ़ने के बजाय प्रासंगिक संदर्भ पर “ध्यान” (attention) देना। इस बनावट को पर्याप्त डेटा और कम्प्यूटिंग ताकत के साथ बड़ा कीजिए, और अगले शब्द का अनुमान लगाना ऑटोकम्प्लीट जैसा दिखना बंद कर देता है और ज्ञान जैसा दिखने लगता है।

पर यह ज्ञान नहीं है। यह इस बात का बेहद बारीक सांख्यिकीय नक्शा है कि इंसान भाषा का इस्तेमाल कैसे करते हैं। इसीलिए यह आपके लिए एक सॉनेट लिख सकता है और फिर भी किसी बच्चे के हिज्जे वाले सवाल पर लड़खड़ा जाता है।

यह भ्रम (हैलुसिनेशन) क्यों गढ़ता है (और हमेशा थोड़ा गढ़ता रहेगा)

जब कोई चैटबॉट कोई फ़र्ज़ी अदालती मुकदमा या कोई ऐसी किताब गढ़ देता है जो है ही नहीं, तो हम इसे “हैलुसिनेशन” कहते हैं। यह एक भ्रामक शब्द है। मॉडल खराब नहीं हो रहा। वह ठीक वही कर रहा है जो हमेशा करता है, यानी सबसे भरोसेमंद-सी लगने वाली अगली कड़ी गढ़ना, ऐसी स्थिति में जहाँ भरोसेमंद-सा जवाब और सच्चा जवाब एक ही चीज़ नहीं हैं।

मॉडल के पास “सच” का कोई अलग भाव है ही नहीं। उसके पास “संभावित” है। ज़्यादातर वक़्त ये दोनों एक-दूसरे पर टिके होते हैं, इसीलिए यह उपयोगी है। जब ये अलग हो जाते हैं, तो वह आपको आत्मविश्वास से भरा, धाराप्रवाह, पूरी तरह गढ़ा हुआ जवाब थमा देगा, और उसके भीतर कोई घंटी नहीं बजेगी, क्योंकि बजने के लिए वहाँ कोई घंटी है ही नहीं।

वह “strawberry” वाली उलझन? यह टेक्स्ट को अक्षरों के रूप में नहीं, बल्कि टोकन कहे जाने वाले टुकड़ों के रूप में देखता है, इसलिए अलग-अलग अक्षर गिनना इसके लिए बेढंगा काम है। यह बेवकूफ़ नहीं है। यह बस उस काम के लिए बना है जो उस काम से अलग है जो आपने इसे थमा दिया।

असल में इसे इस्तेमाल करने के लिए इसका क्या मतलब है

एक बार जब आप यह अपने भीतर बैठा लेते हैं कि “यह भरोसेमंद-सा टेक्स्ट गढ़ रहा है, तथ्य ढूँढकर नहीं ला रहा”, तो पूरा औज़ार साफ़ नज़र आने लगता है:

• यह उन कामों में शानदार है जहाँ धाराप्रवाहिता ही लक्ष्य है: मसौदा बनाना, दोबारा शब्दों में ढालना, विचार-मंथन, अनुवाद, सारांश।
• यह हर उस जगह जोखिम-भरा है जहाँ एक आत्मविश्वास से भरा गलत जवाब आपको भारी पड़े: खास तथ्य, आँकड़े, संदर्भ (citations), कानूनी या चिकित्सकीय बारीकियाँ। उन्हें जाँचिए। हमेशा।
• यह “नहीं जानता” कि वह क्या नहीं जानता, इसलिए वह भरोसे के साथ आपको आगाह नहीं कर सकता कि वह कब अंदाज़ा लगा रहा है।

ये मशीनें असाधारण हैं। पर इनमें से किसी एक के साथ सबसे समझदारी वाली बात यही है कि याद रखिए कि यह भीतर-भीतर असल में कर क्या रही है। यह सोच नहीं रही, और यह जान नहीं रही। यह अनुमान लगा रही है। एक बार यह बात मन में टिका लीजिए, फिर यह जादू नहीं रह जाता और वही बन जाता है जो यह सचमुच है, और जो शायद और भी प्रभावशाली है: हमने अब तक जो कुछ लिखा है उन सबका एक आईना, जो एक-एक शब्द करके अपना रास्ता अंदाज़ता हुआ, किसी ऐसी चीज़ में ढल जाता है जो हूबहू समझ जैसी दिखती है।