केनियातील ९,६९१ रुग्णांवरील यादृच्छिक चाचणीत आढळले की चिकित्सकांसाठीच्या एआय सहाय्यकाने उपचार अपयशे लक्षणीयरीत्या कमी केली नाहीत, तरी फिजिशियननी नोंदी अधिक चांगल्या ठरवल्या

केनियातील एका यादृच्छिक चाचणीत असे आढळले की चिकित्सकांनी आपल्या रुग्ण नोंदींमध्येच बसवलेला एआय सहाय्यक वापरला तेव्हा उपचार अपयशांत सांख्यिकीयदृष्ट्या लक्षणीय घट झाली नाही. भेटीनंतर १४ दिवसांत, सहाय्यक असलेल्या चिकित्सकांनी पाहिलेल्या २.२ टक्के रुग्णांत उपचार अपयश आले, तर सहाय्यक नसलेल्यांनी पाहिलेल्या २.० टक्के रुग्णांत. हा शोधनिबंध २६ जून २०२६ रोजी नेचर मेडिसिनमध्ये आला, आणि त्याचे लेखक निष्कर्ष काढतात की हे साधन सुरक्षित होते आणि कोणताही फायदा बहुधा माफक असेल.

याच चाचणीत आणखी एका गोष्टीत सहाय्यकाने सुधारणा केल्याचे आढळले: चिकित्सकांनी काय लिहिले आणि काय ठरवले याची गुणवत्ता, फिजिशियनांच्या एका पथकाने ठरवल्याप्रमाणे.

काय तपासले गेले आणि कसे

या साधनाचे नाव AI Consult आहे. ते ओपनएआयचे GPT-4o (मे २०२५ ची आवृत्ती) पेंडा हेल्थच्या इलेक्ट्रॉनिक वैद्यकीय नोंदींमध्ये चालवते. पेंडा हेल्थ ही नैरोबी आणि किआंबू काउंटींमधील प्राथमिक आरोग्य दवाखान्यांची साखळी आहे. चिकित्सक भेटीची नोंद लिहीत असताना ते नोंदी वाचते आणि हिरव्या, पिवळ्या किंवा लाल सूचनेने अडचणी दाखवते. चिकित्सकांना ते पाळणे बंधनकारक नव्हते, आणि रुग्णांना त्याची स्क्रीन कधीच दिसत नव्हती. ही रचना माणूस चालवत असलेल्या शस्त्रक्रिया रोबोटच्या जवळ जाते, स्वायत्त डॉक्टरच्या नव्हे: प्रत्येक निर्णयाची जबाबदारी चिकित्सकावरच राहते.

ही एक व्यावहारिक क्लस्टर-यादृच्छिक चाचणी होती: ती नियमित उपचारांच्या आतच चालली, आणि यादृच्छिकपणे वाटले गेलेले घटक रुग्ण नव्हे तर चिकित्सक होते. पेंडाच्या सोळा केंद्रांनी भाग घेतला. एकूण १०३ क्लिनिकल ऑफिसर, म्हणजे रुग्णांना पाहणारे चिकित्सक, विभागले गेले: ५२ जण साधन वापरणारे आणि ५१ जण तीच नोंद प्रणाली पण साधन बंद असलेली. नोंदणी २२ एप्रिल ते १६ जुलै २०२५ दरम्यान चालली.

चाचणीची नोंदणी पॅन आफ्रिकन क्लिनिकल ट्रायल्स रजिस्ट्रीमध्ये (PACTR202502499779176) आहे, आणि तिचा प्रोटोकॉल, जून २०२५ ची आवृत्ती २, झेनोडो या खुल्या संशोधन संग्रहावर सार्वजनिक आहे. अभ्यासाची प्रायोजक असलेल्या PATH या जागतिक आरोग्य ना-नफा संस्थेने ११ मार्च २०२५ रोजी चाचणीची घोषणा केली आणि २०२५ च्या अखेरीस निकाल अपेक्षित असल्याचे सांगितले.

प्राथमिक निकाल

आधीच ठरवलेला मुख्य निष्कर्ष नोंदणीनंतर १४ दिवसांतील उपचार अपयश हा होता. तो सहा फॅमिली फिजिशियनांच्या पथकाने ठरवलेला संमिश्र निकष होता; प्रत्येक प्रकरणावर दोघे पाहत, आणि मतभेद तिसरा सोडवत. जर रुग्ण न सुटलेल्या लक्षणांसह परत आला, उच्च पातळीच्या किंवा आपत्कालीन उपचारांकडे अनियोजित हलवावा लागला, किंवा निदान चुकणे, अयोग्य औषध लिहून देणे किंवा मृत्यू अशी सुरक्षिततेची घटना घडली, तर ते अपयश धरले गेले. पाठपुरावा फोनवरून, तिसऱ्या आणि १४ व्या दिवशी झाला.

सारात म्हटले आहे की १७,६२६ तपासलेल्यांपैकी ९,६९१ रुग्णांची नोंदणी झाली. वगळणी झाल्यानंतर, ज्यात प्रोटोकॉल न पाळलेल्या २५४ भेटी आणि पाठपुरावा हुकलेले ९० रुग्ण होते, ९,३४७ चे विश्लेषण झाले. सहाय्यक असलेल्या गटात ४,६९३ रुग्णांपैकी १०२ अपयशे (२.२ टक्के) होती, आणि नियंत्रण गटात ४,६५४ पैकी ९४ (२.० टक्के). समायोजित ऑड्स रेशो ०.७७ होता, ९५ टक्के कॉन्फिडन्स इंटरव्हल ०.५५ ते १.०८ आणि P मूल्य ०.१३.

मूळ संख्या आणि समायोजित आकडा परस्परविरुद्ध दिशांना बोट दाखवतात. मूळ संख्येत सहाय्यक असलेल्या गटात अपयशे थोडी जास्त होती, तर १ पेक्षा कमी ऑड्स रेशो सहाय्यक असलेल्या गटाच्या बाजूचा असतो. समायोजित आकडा क्लिनिकल ऑफिसर आणि केंद्र यांच्या गटबद्धतेचा विचार करणाऱ्या प्रतिमानातून येतो, आणि शोधनिबंध दोन्हींची सांगड घालत नाही. रुग्णाचे लिंग, वय, दिवसाची वेळ आणि आठवड्याचा दिवस जोडल्यावर ऑड्स रेशो ०.७२ आला (९५% CI ०.५० ते १.०३, P = ०.०७). एनपीआरने हा निकाल उपचार अपयशांतील २३ टक्के घट म्हणून नोंदवला, जी सांख्यिकीयदृष्ट्या लक्षणीय नव्हती. ऑड्स रेशो हे अपयशातील टक्केवारी घटीहून वेगळे मापन आहे.

लेखक आपल्या चर्चेत हे अंतर (इंटरव्हल) सोप्या शब्दांत मांडतात: प्रत्येक १,००० रुग्णांमागे उपचार अपयशे १३ ने कमी ते १ ने जास्त यांच्या दरम्यान. जोखीम फरकाचा त्यांचा प्रतिमानाधारित अंदाज सहाय्यक असलेल्या गटात ०.५ टक्के गुणांनी कमी होता, ९५ टक्के क्रेडिबल इंटरव्हल १.३ गुणांनी कमी ते ०.१ गुणाने जास्त.

एआयने कुठे चांगले काम केले

एका परीक्षण पथकाने नोंदींच्या गुणवत्तेसाठी २,००० भेटी तपासल्या. सहाय्यक असलेले चिकित्सक योग्य निदान नोंदवण्याची (समायोजित ऑड्स रेशो १.७४, ९५% CI १.२८ ते २.३६), पूर्ण नोंद लिहिण्याची (१.६८, १.२४ ते २.२७) आणि योग्य उपचार योजना मांडण्याची (१.७१, १.२५ ते २.३४) जास्त शक्यता होती. तिन्हींचे P मूल्य ०.००१ पेक्षा कमी होते.

इतर मापे सपाट होती. सर्वेक्षण केलेल्या ८२६ रुग्णांमध्ये समाधान दोन गटांत वेगळे नव्हते, आणि सल्ल्याचा मध्यम वेळ दोन्हीत ११ मिनिटे होता. खर्चाचे एक पोस्ट हॉक निरीक्षण, ज्याला लेखक पुष्टी करणारे नाही असे म्हणतात, असे दर्शवते की हे साधन चालवायला प्रति रुग्ण सुमारे ०.०४ डॉलर लागले आणि प्रतिजैविकांवरील सरासरी खर्च सहाय्यक असलेल्या गटात ३.७१ डॉलर होता, तर नियंत्रण गटात ३.८५ डॉलर.

तज्ज्ञांनी सहाय्यकाच्या १,००० लाल सूचनाही तपासल्या. त्यांनी ४९.४ टक्के निश्चितपणे सुरक्षित आणि ४२.४ टक्के बहुतांशी सुरक्षित ठरवल्या. सुमारे ३.१ टक्के काहीशा असुरक्षित किंवा अयोग्य होत्या आणि १.१ टक्के असुरक्षित व अयोग्य. चिकित्सकांनी लाल सूचना १९.५ टक्के प्रकरणांत पूर्णपणे, ५७.३ टक्क्यांत अंशतः आणि २३.२ टक्क्यांत अजिबात पाळल्या नाहीत.

शून्य निकालाचा अर्थ परिणाम नाही असा का नसू शकतो

ही चाचणी सुमारे ९,००० भेटींच्या आधारे उपचार अपयशे निम्म्यावर, २ टक्क्यांवरून १ टक्क्यावर, येणे शोधण्याइतक्या आकाराची होती. लेखक म्हणतात की निरीक्षण झालेल्या परिणामापेक्षा मोठ्या परिणामासाठी ती सक्षम होती. चर्चेत ते लिहितात की पोस्ट हॉक सिम्युलेशन्सनी सुचवले की दुर्मिळ निकालांतील माफक फरक शोधायला १,००,००० हून अधिक रुग्ण लागतील. सह-लेखक आणि PATH चे मुख्य एआय अधिकारी डॉ. बिलाल मतीन यांनी एनपीआरला सांगितले की हा आकडा सुमारे १,३९,००० आहे.

पेंडाचा एक आधीचा अभ्यास, जुलै २०२५ मध्ये गुणवत्ता-सुधारणा अभ्यास म्हणून arXiv वर टाकलेला, १५ दवाखान्यांतील ३९,८४९ भेटींकडे पाहतो. स्वतंत्र फिजिशियननी भेटींना क्लिनिकल चुकांसाठी गुण दिले आणि AI Consult उपलब्ध असलेल्या चिकित्सकांमध्ये निदानाच्या चुका १६ टक्के आणि उपचारांच्या चुका १३ टक्के कमी आढळल्या. तो अभ्यास साधन असलेल्या आणि नसलेल्या चिकित्सकांच्या भेटींची तुलना करणारा होता. यादृच्छिक चाचणीने रुग्णांचे नंतर काय झाले याचा पाठपुरावा जोडला, आणि तिथेच कोणताही स्पष्ट फरक दिसला नाही. जीवशास्त्रातील एआयचा सर्वांत प्रसिद्ध विजय, अल्फाफोल्डचे नोबेल, प्रयोगशाळेत प्रथिनांच्या रचनांचा अंदाज बांधण्यासाठी होता, रुग्णांवर उपचार करण्यासाठी नव्हे.

अभ्यास काय दाखवत नाही असे लेखक म्हणतात

चर्चा स्वतःच मर्यादांची यादी देते. चाचणी दुर्मिळ गंभीर हानींसाठी सक्षम नव्हती, आणि फरक न आढळणे म्हणजे दोन्ही गट सारखेच सुरक्षित होते हे सिद्ध होत नाही. आधीच ठरवलेली सुरक्षितता चौकट नव्हती. तेहतीस गंभीर प्रतिकूल घटना घडल्या, २७ रुग्णालयात दाखल आणि ६ मृत्यू, आणि स्वतंत्र परीक्षणात कोणतीही साधनाशी कारणात्मकदृष्ट्या जोडलेली आढळली नाही.

निकाल नैरोबीतील एकाच खासगी, शहरी साखळीतून आले आहेत आणि ग्रामीण किंवा सरकारी दवाखान्यांत कदाचित लागू होणार नाहीत. पेंडाची मानके आधीच उच्च होती, ज्यामुळे सुधारणेला कमी वाव असू शकतो. निकाल GPT-4o च्या एकाच आवृत्तीशी बांधलेले आहेत, हा मुद्दा लेखक कालानुरूप मापदंड म्हणून वर्णितात, आणि १४ दिवसांचा पाठपुरावा पुढच्या परिणामांसाठी कमी पडू शकतो. चिकित्सकांना अंधारात ठेवता आले नाही, आणि ते एकाच केंद्रांचा वापर करत असल्याने दोन गटांमध्ये कल्पनांची अनौपचारिक देवाणघेवाण शक्य होती. लेखक म्हणतात की यामुळे निकाल फरक नसण्याकडे ढकलले जातील.

चांगल्या नोंदींपासून चांगल्या रुग्ण निकालांपर्यंतचा दुवा चर्चा गृहीतक मानते. प्राथमिक निकालात सुधारणा झाली नाही, म्हणून चाचणीने तो टप्पा तपासला नाही.

कोणी पैसे दिले, आणि कोणाचे हितसंबंध आहेत

गेट्स फाउंडेशनने चाचणीला निधी दिला, PATH प्रायोजक होती. हितसंबंधांच्या निवेदनात म्हटले आहे की दोन लेखकांकडे, R.K. आणि S.K. यांच्याकडे, पेंडा हेल्थचे स्टॉक ऑप्शन्स आहेत. ओपनएआयने AI Consult बनवण्यासाठी पेंडाला क्लाउड कॉम्प्युट क्रेडिट्स आणि तांत्रिक मार्गदर्शन पुरवले. निवेदनात म्हटले आहे की ओपनएआयचे उत्पादन वापरण्याचा निर्णय त्या ऑफरच्या आधीचा होता, आणि रचना, माहिती संकलन, विश्लेषण, लेखन किंवा प्रकाशित करण्याच्या निर्णयात ओपनएआयचा कोणताही सहभाग नव्हता.

चाचणीबाहेरील दोन मते

एनपीआरने अभ्यासात सहभाग नसलेल्या दोन चिकित्सकांना उद्धृत केले. स्टॅनफर्ड विद्यापीठातील वैद्यकशास्त्र आणि बायोमेडिकल डेटा सायन्सचे सहयोगी प्राध्यापक डॉ. जोनाथन चेन यांनी या अभ्यासाला महत्त्वाचे म्हटले कारण तो एआय प्रणालींच्या कृत्रिम चाचण्यांच्या पलीकडे जातो. ते म्हणाले की सर्वांत मोठा फायदा वेळेवर आणि सातत्यपूर्ण उपचार मिळण्यातून येऊ शकतो, जसे नोंदी तयार करण्यात मदत मिळून चिकित्सकांना जास्त रुग्ण पाहता येणे.

केन्याटा नॅशनल हॉस्पिटलमधील अस्थिशल्यविशारद आणि आरोग्यसेवेतील एआयवर संशोधन करणारे डॉ. निकोलस ओकुमु यांनी सावध मत दिले. त्यांनी एनपीआरला सांगितले, “मंजूर झालेले एआयसुद्धा हानी करू शकते, म्हणून देखरेख सतत सक्रिय राहिली पाहिजे.”

भारतातील संदर्भ

भारतीय वैद्यकीय संशोधन परिषदेने २०२३ मध्ये जैववैद्यकीय संशोधन आणि आरोग्यसेवेतील एआयसाठी आपली नैतिक मार्गदर्शक तत्त्वे प्रकाशित केली, DHR-ICMR आर्टिफिशियल इंटेलिजन्स सेलचा ७६ पानांचा दस्तऐवज. २० फेब्रुवारी २०२६ रोजी, आयसीएमआर आणि ICMR-NIRDH यांनी भारत मंडपम येथे, इंडियाएआय इम्पॅक्ट समिटचा भाग म्हणून, एआय-आधारित वैद्यकीय उपकरणांच्या नियामक मार्गावर, प्रशिक्षण, प्रमाणीकरण आणि क्लिनिकल मूल्यमापन यांना जोडणारे एक सत्र घेतले. राष्ट्रीय कार्यक्रमाची माहिती भारत स्वतःच्या भाषांमध्ये एआय बनवत आहे यात आहे.

अशाच प्रकारची एक भारतीय चाचणी ClinicalTrials.gov वर नोंदवलेली आहे, आणि ती काहीतरी वेगळे मोजते. NCT07432893 म्हणून नोंदवलेला एक पायलट अभ्यास लिव्हर फाउंडेशनसोबत पश्चिम बंगालच्या बीरभूम आणि पुरुलिया जिल्ह्यांत झाला. ७३६ रुग्णांपैकी प्रत्येकाचे एका भेटीत दोन सल्ले झाले, यादृच्छिक क्रमाने: एक एआय साधन वापरणाऱ्या नर्ससोबत, एक फिजिशियनसोबत. प्रत्येक सल्ल्याला त्याच दिवशी दोन अंध फिजिशियन परीक्षकांनी क्लिनिकल तर्क आणि व्यवस्थापन या निकषावर गुण दिले. नोंदीत हा पायलट १ ऑगस्ट २०२६ रोजी पूर्ण झाल्याचे दाखवले आहे. त्याचा प्राथमिक निकाल सल्ल्याची गुणवत्ता आहे, रुग्णाचे नंतरचे आरोग्य नव्हे, आणि त्याचा प्रायोजक आयसीएमआर किंवा एम्स नसून HEAL India चा एक संशोधक आहे.

मतीन यांच्या नेतृत्वाखालील नेचर मेडिसिनमधील जुलै २०२५ चे एक पत्र नोंदवते की आफ्रिकेत आरोग्यासाठी एआयच्या यादृच्छिक चाचण्या हाताच्या बोटांवर मोजण्याइतक्याच झाल्या होत्या आणि त्यांपैकी एकानेही जनरेटिव्ह एआय साधन तपासले नव्हते.