न्यूयॉर्कमधील दोन वकिलांनी आणि त्यांच्या कंपनीने २०२३ मध्ये चॅटजीपीटीने रचलेल्या सहा न्यायालयीन खटल्यांसाठी ५,००० डॉलर भरले, आणि ऑक्टोबर २०२६ पर्यंत एका सार्वजनिक नोंदवहीत एआय हॅलुसिनेशनशी संबंधित २,२०२ न्यायालयीन निर्णय नोंदले गेले

भाषा मॉडेल अस्खलित, आत्मविश्वासपूर्ण पण खोटा मजकूर लिहिते तेव्हा त्याला हॅलुसिनेशन म्हणतात. २२ जून २०२३ रोजी न्यू यॉर्कच्या दक्षिण जिल्ह्याचे न्यायाधीश कॅस्टेल यांनी दोन वकिलांना आणि त्यांच्या कंपनीला ५,००० डॉलर भरण्याचा आदेश दिला, कारण त्यांनी दाखल केलेल्या लेखी युक्तिवादात चॅटजीपीटीने रचलेले सहा न्यायालयीन निर्णय उद्धृत केले होते. पाचव्या सर्किटच्या वर्णनानुसार फ्रेंच वकील आणि डेटा शास्त्रज्ञ दामियां शार्लोतां यांनी ठेवलेल्या नोंदवहीत १९ ऑक्टोबर २०२६ रोजी हॅलुसिनेटेड मजकुराशी संबंधित २,२०२ न्यायालयीन निर्णय नोंदले होते. त्यांपैकी १,५०१ अमेरिकेतील आणि १६ भारतातील होते.

संशोधक या शब्दाने काय म्हणतात

हा शब्द हाँगकाँग युनिव्हर्सिटी ऑफ सायन्स अँड टेक्नॉलॉजीतील झिवेई जी आणि सहकाऱ्यांच्या २०२२ च्या सर्वेक्षणातून आला, जे नंतर एसीएम कंप्युटिंग सर्व्हेजमध्ये छापले गेले. मजकूर निर्मितीतील हॅलुसिनेशन म्हणजे निरर्थक किंवा स्रोत मजकुराशी प्रामाणिक नसलेला आउटपुट, अशी त्यांची व्याख्या आहे. हा शब्द मानसशास्त्रातून आला आहे, जिथे त्याचा अर्थ खरा वाटणारी पण अवास्तव जाणीव, आणि हॅलुसिनेट झालेला मजकूर अस्खलित आणि नैसर्गिक वाटतो, असे लेखक नोंदवतात. इंट्रिन्सिक हॅलुसिनेशन स्रोताशी विसंगत असते. एक्स्ट्रिन्सिक हॅलुसिनेशन असे काहीतरी जोडते ज्याला स्रोत आधार देत नाही आणि विरोधही करत नाही.

ओपनएआयचा जीपीटी-४ अहवाल अशीच रेषा आखतो. क्लोज्ड-डोमेन हॅलुसिनेशन म्हणजे मॉडेलला दिलेला मजकूरच वापरायला सांगितलेल्या कामात रचलेला तपशील. ओपन-डोमेन हॅलुसिनेशन म्हणजे जगाबद्दलची चुकीची माहिती, आत्मविश्वासाने सादर केलेली. कोणीही दिला नाही अशा निकालाचा दाखला देणारा लेखी युक्तिवाद हा दुसरा प्रकार आहे.

मॉडेल चांगला वाचला जाणारा खोटा मजकूर का लिहिते

जीपीटी-४ चा तांत्रिक अहवाल मूळ मॉडेलचे वर्णन दस्तऐवजातील पुढील टोकन, म्हणजे मजकुराचा लहान तुकडा, भाकीत करण्यासाठी पूर्वप्रशिक्षित असे करतो. त्या कामात कोणताही दावा जगाशी पडताळला जात नाही. मोठे भाषा मॉडेल कसे प्रशिक्षित होते यात टप्पे समजावले आहेत.

ओपनएआय आणि जॉर्जिया टेकमधील ॲडम टॉमन कलाई आणि तीन सहलेखकांचा ४ सप्टेंबर २०२५ चा प्रबंध असे मांडतो की त्रुटीमुक्त प्रशिक्षण मजकुरातूनही चुका निर्माण होण्यासाठी हे पुरेसे आहे. त्यांनी एका खुल्या मॉडेलला कलाई यांचा वाढदिवस विचारला, माहीत असेल तरच उत्तर द्यायला सांगितले, आणि तीन प्रयत्नांत तीन वेगवेगळ्या चुकीच्या तारखा मिळाल्या. वाढदिवसांसारख्या, शिकता येईल असा नमुना नसलेल्या तथ्यांसाठी पूर्वप्रशिक्षणानंतरचा हॅलुसिनेशन दर किमान प्रशिक्षण डेटामध्ये फक्त एकदाच येणाऱ्या तथ्यांच्या वाट्याइतका असायला हवा. वाढदिवसाच्या २० टक्के तथ्ये नेमकी एकदाच आली, तर मूळ मॉडेल वाढदिवसाच्या किमान २० टक्के प्रश्नांत चुकले पाहिजे, असे ते लिहितात.

त्यांचा दुसरा युक्तिवाद गुणांकनाबद्दल आहे. बहुतेक बेंचमार्क काटेकोर अचूकतेला गुण देतात, आणि “मला माहीत नाही” या उत्तराला काहीच मिळत नाही, त्यामुळे अंदाज लावणे कधीही उत्तर न देण्यापेक्षा वाईट गुण देत नाही. मॉडेल उत्तम परीक्षार्थी होण्यासाठी ऑप्टिमाइझ केली जातात, असे प्रबंध म्हणतो. भारताच्या जेईई, नीट आणि गेट परीक्षा चुकीच्या उत्तरांसाठी दंड वापरतात किंवा वापरत आल्या आहेत, असे तो नोंदवतो, आणि बेंचमार्कच्या सूचनांमध्ये आत्मविश्वासाचे लक्ष्य लिहिण्याचा प्रस्ताव मांडतो. ०.७५ च्या लक्ष्यावर चूक झाली तर २ गुण जातात आणि बरोबर उत्तराला १ मिळतो. बेंचमार्कच्या समस्येत मॉडेलना गुण देण्याच्या पद्धतीतील इतर दोष मांडले आहेत.

Mata v. Avianca: सहा रचलेले खटले आणि ते खरे असल्याचे सांगणारा चॅटबॉट

रॉबर्टो माटा यांनी विमानातील दुखापतीवरून अव्हियांका विमान कंपनीवर दावा ठोकला. १ मार्च २०२३ रोजी त्यांचे वकील पीटर लोडुका यांनी अव्हियांकाचा दावा मुदतबाह्य म्हणून फेटाळण्याच्या अर्जाला विरोध करणारा लेखी युक्तिवाद दाखल केला. त्यावर लोडुका यांनी सही केली, पण तो त्यांचे सहकारी स्टीव्हन श्वार्ट्झ यांनी लिहिला होता, आणि त्यात असे निर्णय उद्धृत होते जे अस्तित्वात नव्हते असे न्यायाधीश कॅस्टेल यांच्या आदेशाने नंतर ठरवले. अव्हियांकाच्या १५ मार्चच्या उत्तरात म्हटले की त्यांच्या वकिलांना बहुतेक निर्णय सापडले नाहीत.

श्वार्ट्झ यांच्या कंपनीने फास्टकेस हा डेटाबेस वापरला, ज्यात संघीय खटल्यांपर्यंतचा प्रवेश मर्यादित होता, आणि त्यांनी चॅटजीपीटी कधीच वापरले नव्हते, असे आदेशात नोंदलेले आहे. नोंदीतील त्यांच्या शब्दांत, त्यांनी “चुकीचे गृहीत धरले” की ते “चॅटजीपीटी नावाच्या सुपर सर्च इंजिनसारखे होते”. बनावट निर्णय होते Varghese, Miller, Petersen, Shaboon, Martinez आणि Durden. Varghese v. China Southern Airlines हा अकराव्या सर्किटचा निकाल नव्हता, याला त्या न्यायालयाच्या कारकुनाने दुजोरा दिला. श्वार्ट्झ यांनी चॅटजीपीटीला विचारले की Varghese खरा आहे का, आणि त्यांच्या स्वतःच्या शपथपत्रानुसार त्याने उत्तर दिले की तो खटला “खरोखर अस्तित्वात आहे” आणि तो वेस्टलॉ आणि लेक्सिसनेक्सिसवर सापडू शकतो.

न्यायाधीश कॅस्टेल यांनी लिहिले की “विश्वासार्ह कृत्रिम बुद्धिमत्ता साधनाची मदत घेण्यात मुळातच काही अयोग्य नाही”. समस्या उघडकीस आल्यानंतरच्या वकिलांच्या वर्तनात त्यांना वाईट हेतू आढळला: कारणे दाखवा आदेशानंतर, २५ मे रोजीपर्यंत त्यांनी सत्य सांगितले नाही. न्यायालयाने लोडुका, श्वार्ट्झ आणि कंपनी यांच्यावर संयुक्तपणे ५,००० डॉलर दंड लादला, आणि माटा यांना तसेच बनावट मतावर ज्यांचे नाव जोडले गेले होते त्या प्रत्येक न्यायाधीशाला पत्रे पाठवण्याचा आदेश दिला. माफी मागायला भाग पाडण्यास त्याने नकार दिला.

Park v. Kim आणि Johnson v. Dunn: संदर्भित करणे, मग अपात्र ठरवणे

दुसऱ्या सर्किटने Park v. Kim चा निकाल ३० जानेवारी २०२४ रोजी दिला. त्याने दिवाणी दाव्याचे फेटाळणे कायम ठेवले आणि वादीच्या वकील जे एस. ली यांच्याबद्दल स्वतंत्रपणे निर्णय दिला, ज्यांनी आपल्या उत्तरादाखल लेखी युक्तिवादात अस्तित्वात नसलेल्या राज्य न्यायालयाच्या निर्णयाचा दाखला दिला होता. ली यांनी सांगितले की आधार देणारा खटला न सापडल्यावर त्यांनी चॅटजीपीटीला विचारले, आणि तो वाचला नाही. पीठाने लिहिले की रूल ११, म्हणजे ज्या संघीय नियमानुसार सही केल्याने दाखल कागदपत्रातील कायदेशीर दावे अस्तित्वात असलेल्या कायद्याने समर्थित असल्याचे प्रमाणित होते, तो वकिलांनी ज्या कायदेशीर आधारांवर ते अवलंबून आहेत ते “वाचावेत, आणि त्यायोगे त्यांचे अस्तित्व आणि वैधता पडताळावी” अशी अपेक्षा ठेवतो. त्याने ली यांना तक्रार पॅनेलकडे संदर्भित केले आणि त्यांना ग्राहकाला निर्णयाची प्रत देण्याचा आदेश दिला. कोणताही दंड केला नाही.

Johnson v. Dunn मध्ये कारागृहात असलेल्या वादी फ्रँकी जॉन्सन यांनी अलाबामाच्या उत्तर जिल्हा न्यायालयाला सांगितले की राज्याच्या तुरुंग विभागाचे माजी आयुक्त जेफरसन डन यांच्या वकिलांनी खऱ्या नसलेल्या खटल्यांचा दाखला दिला. न्यायाधीश अॅना मॅनास्को यांना दोन अर्जांत पाच समस्याग्रस्त दाखले आढळले. बटलर स्नो या कायदा कंपनीतील तीन वकिलांनी लेखी आणि सुनावणीत पुष्टी केली की ते चॅटजीपीटीने तयार केले होते. त्यांपैकी एक, मॅथ्यू रीव्हज यांनी तपासणी न करता त्याच्याकडून दाखले मागितले होते, आणि त्यांच्या कंपनीच्या धोरणात एआयचा वापर मर्यादित होता हे आपल्याला माहीत होते असे सांगितले.

त्यांचा २३ जुलै २०२५ चा आदेश म्हणतो की दाखले “पूर्णपणे रचलेले” होते, आणि नेहमीची ताकीद आणि माफक दंड हा प्रतिबंधासाठी कमकुवत मानतो. त्यांनी रीव्हज, विल्यम क्रॅनफोर्ड आणि विल्यम लन्सफोर्ड यांना सार्वजनिकरीत्या ताकीद दिली, तिघांनाही या खटल्यातून अपात्र ठरवले, संघीय जिल्हा न्यायालयांच्या निकालांच्या छापील मालिकेतील फेडरल सप्लिमेंटमध्ये मत प्रकाशित करण्याचा आदेश दिला, आणि त्यांना अलाबामा स्टेट बारकडे संदर्भित केले. त्यांनी त्यांना वकिलीपासून निलंबित केले नाही, आणि इतर दोन वकिलांना आणि कंपनीला कोणत्याही शिक्षेशिवाय सोडले.

भारत: बनावट निवाड्यांवरील निर्णय हे गैरवर्तन आहे, असे सर्वोच्च न्यायालय म्हणते

२७ फेब्रुवारी २०२६ रोजी भारताच्या सर्वोच्च न्यायालयाने Gummadi Usha Rani v. Sure Mallikarjuna Rao मध्ये, (2013) 14 SCC 95 असा दाखला दिलेल्या Subramani v. M. Natarajan सह चार निर्णयांवर अवलंबून असलेला खालच्या न्यायालयाचा आदेश हाती घेतला. याचिकाकर्त्यांनी सांगितले की ते निर्णय बनावट होते, आणि सर्वोच्च न्यायालयाच्या वृत्तान्तानुसार आंध्र प्रदेश उच्च न्यायालयाच्या लक्षात आले की ते एआयने तयार केलेले आहेत, त्याने सावधगिरीचा एक शब्द जोडला आणि तरीही गुणवत्तेवर खटला निकाली काढला. न्यायमूर्ती पामिदिघंटम श्री नरसिंहा आणि आलोक अराधे यांनी खालच्या न्यायालयाला ॲडव्होकेट कमिशनरच्या अहवालावर पुढे जाण्यास मनाई केली आणि अटर्नी जनरल, सॉलिसिटर जनरल आणि बार कौन्सिल ऑफ इंडिया यांना नोटीस जारी केली. त्यांचा आदेश म्हणतो की अशा निवाड्यांवर आधारलेला निर्णय “निर्णय प्रक्रियेतील चूक नाही. ते गैरवर्तन ठरेल”. २०२६ मधील नंतरचे निर्णय भारतीय न्यायालये आणि सरकारमधील एआय मध्ये आहेत.

हॅलुसिनेशनमुक्त म्हणून विकल्या जाणाऱ्या साधनांचा स्टॅनफोर्ड अभ्यास

कायदेविषयक संशोधन विक्रेत्यांनी म्हटले होते की रिट्रीव्हल-ऑगमेंटेड जनरेशन, ज्यात प्रणाली आधी संबंधित दस्तऐवज आणते आणि मग त्यांवरून उत्तर लिहिते, ती समस्या टाळते. स्टॅनफोर्ड आणि येलमधील मॅगेश आणि पाच सहलेखक हॅलुसिनेशन “नाहीसे करणे” आणि “टाळणे” आणि “हॅलुसिनेशनमुक्त” दाखले यांबद्दलचे विक्रेत्यांचे दावे उद्धृत करतात. त्यांनी २०० हून अधिक पूर्वनोंदणीकृत कायदेविषयक प्रश्न Lexis+ AI, वेस्टलॉचे AI-Assisted Research, थॉमसन रॉयटर्सचे Ask Practical Law AI आणि जीपीटी-४ मधून चालवले, आणि प्रतिसादात चुकीची माहिती असेल किंवा एखादा स्रोत विधानाला आधार देतो असे खोटे म्हटले असेल तर तो हॅलुसिनेशन मोजला.

तिन्ही विक्रेता साधनांनी १७ टक्के ते ३३ टक्के वेळा हॅलुसिनेट केले. Lexis+ AI आणि Ask Practical Law AI यांनी सहा पैकी एकापेक्षा जास्त प्रश्नांत, आणि वेस्टलॉने सुमारे तीन पैकी एकात तसे केले. प्रबंधाच्या आकृती ४ नुसार जीपीटी-४ ने ४३ टक्क्यांवर हॅलुसिनेट केले. जीपीटी-४ च्या तुलनेत रिट्रीव्हल हॅलुसिनेशन कमी करते पण ते लक्षणीय ठेवते, असा लेखक निष्कर्ष काढतात.

त्रुटींचा दर कशाने घटवला, आकड्यांसह

रिट्रीव्हलची नोंद सर्वात जुनी आहे. फेसबुक एआय रिसर्चचा २०२१ चा प्रबंध नोंदवतो की त्याच्या सर्वोत्तम रिट्रीव्हल-ऑगमेंटेड चॅटबॉटनी दोन संभाषण कामांत हॅलुसिनेट झालेले प्रतिसाद ६० टक्क्यांहून अधिक कमी केले. कलाई यांचा चमू सावध करतो की शोध हा इलाज नाही, कारण शोधाला आत्मविश्वासपूर्ण उत्तर सापडले नाही की अंदाजाला अजूनही गुण मिळतात.

प्रशिक्षणातील बदलही मदत करतात. ओपनएआयचा इन्स्ट्रक्टजीपीटी प्रबंध नोंदवतो की क्लोज्ड-डोमेन कामांत ट्यून केलेल्या मॉडेलनी जीपीटी-३ पेक्षा सुमारे निम्म्या वेळा माहिती रचली, २१ टक्के दराच्या तुलनेत ४१ टक्के. जीपीटी-४ अहवाल म्हणतो की अंतर्गत विरोधात्मक तथ्यात्मकता चाचणीत त्याच्या मॉडेलने नवीनतम जीपीटी-३.५ पेक्षा १९ टक्केवारी गुण जास्त मिळवले, आणि त्याचे सिस्टीम कार्ड ओपन-डोमेनसाठी १९ गुण आणि क्लोज्ड-डोमेन हॅलुसिनेशनसाठी २९ गुण देते.

मसुदा तपासल्यानेही मदत होते. मेटाच्या चेन-ऑफ-व्हेरिफिकेशन पद्धतीत मॉडेल उत्तराचा मसुदा करते, तथ्य-तपासणीचे प्रश्न लिहिते, ते स्वतंत्रपणे सोडवते आणि मग सुधारते. विकिडेटा या सार्वजनिक ज्ञानकोशातून घेतलेल्या यादीच्या प्रश्नांवर, तिने लामा ६५ बी मॉडेलची अचूकता ०.१७ वरून ०.३६ पर्यंत वाढवली. चरित्रांवर, सर्वोत्तम प्रकारात फॅक्टस्कोअर अचूकता मापन ५५.९ वरून ७१.४ पर्यंत वाढले.

न्यायालये आता काय मागतात

पाचव्या सर्किटने एक प्रस्तावित नियम प्रसिद्ध केला, ज्यानुसार वकिलांना दाखल कागदपत्रात कोणतेही जनरेटिव्ह एआय वापरले नाही, किंवा माणसाने त्याचा मजकूर तपासला, असे प्रमाणित करावे लागले असते. १३ सार्वजनिक अभिप्रायांनंतर त्याने तो स्वीकारण्यास नकार दिला, आणि त्याची सूचना म्हणते की “मी एआय वापरले” हे अन्यथा दंडनीय असलेल्या गुन्ह्याला सबब ठरणार नाही. १८ फेब्रुवारी २०२६ रोजी Fletcher v. Experian मध्ये मुख्य न्यायाधीश एल्रॉड यांच्या नेतृत्वाखालील पीठाने वकील हेदर हर्श यांना २,५०० डॉलर दंड केला, कारण उत्तरादाखल लेखी युक्तिवादाचा बराचसा भाग, किंवा संपूर्ण, एआयने लिहिला होता आणि त्यांनी तो तपासला नव्हता.

फ्लोरिडाच्या सर्वोच्च न्यायालयाने २८ मे २०२६ रोजी वेगळा मार्ग घेतला. १५ जून २०२६ पासून कोणत्याही दाखल कागदपत्रावर सही करणारा असे प्रतिनिधित्व करतो की त्यातील कायदेशीर आधार “अस्तित्वात आहेत आणि अचूकपणे उद्धृत केले आहेत”, भंग झाल्यास दंड शक्य आहे. त्याचा प्रशासकीय आदेश खालच्या न्यायालयांना स्वतःचे एआय जाहीरनामा किंवा प्रमाणन नियम जोडण्यास मनाई करतो, जेणेकरून सर्किट आदेशांची ठिगळे संपतील.

भारताच्या सर्वोच्च न्यायालयाने ३ जून २०२६ रोजी न्यायालयांतील कृत्रिम बुद्धिमत्ता वापराचे मसुदा नियम प्रसिद्ध केले आणि अभिप्रायाची मुदत १५ जुलैपर्यंत वाढवली. मसुदा असे सांगतो की ज्या पक्षकाराने अभिवचन किंवा पुरावा तयार करताना एआय साधन वापरले, त्याने तसे सांगणारे घोषणापत्र दाखल करावे, आणि बनावट एआय मजकूर दाखल करणारी व्यक्ती एआयला बचाव म्हणून उद्धृत करू शकत नाही.

अमेरिकेच्या संघीय न्यायालयांत, जॅक्सनव्हिल, फ्लोरिडा येथील दंडाधिकारी न्यायाधीश पॅट्रिशिया बार्क्सडेल यांनी २९ मे २०२६ रोजी सुचवले की रूल ११ मध्ये उद्धृत आधार अस्तित्वात आहेत आणि अचूकपणे उद्धृत केले आहेत असे प्रमाणन जोडावे. दिवाणी नियमांच्या सल्लागार समितीच्या २१ ऑक्टोबर २०२६ च्या बैठकीच्या कार्यक्रमपत्रिकेतील कर्मचारी निवेदन ही सूचना सोडून देण्याची शिफारस करते, कारण सध्याचा रूल ११ पुरेसा दिसतो. कार्यक्रमपत्रिका पुस्तक बैठकीच्या आधीचे आहे आणि त्यात मतदानाची नोंद नाही. त्याचे मसुदा इतिवृत्त दाखवते की एप्रिल २०२६ मध्ये समितीने एआय हॅलुसिनेशनवरील आधीचे प्रस्ताव सोडून देण्यासाठी एकमताने मत दिले, आणि एआय कदाचित पुन्हा कार्यक्रमपत्रिकेवर येऊ शकेल हे मान्य केले.