Skip to content
रिट्रीवल-ऑगमेंटेड जनरेशन, जिसे पैट्रिक लुईस और 11 सह-लेखकों के 22 मई 2020 के पेपर ने बताया, चैटबॉट को जवाब देने से पहले 21 मिलियन अंशों वाले इंडेक्स से पैसेज उठाने देता है
एआई और प्रौद्योगिकी

रिट्रीवल-ऑगमेंटेड जनरेशन, जिसे पैट्रिक लुईस और 11 सह-लेखकों के 22 मई 2020 के पेपर ने बताया, चैटबॉट को जवाब देने से पहले 21 मिलियन अंशों वाले इंडेक्स से पैसेज उठाने देता है

चित्रण: tuput

हिन्दी

रिट्रीवल-ऑगमेंटेड जनरेशन, यानी RAG, में भाषा मॉडल दस्तावेज़ों के संग्रह में पैसेज खोजता है और उन्हीं से अपना जवाब लिखता है। इसे यह नाम देने वाले 2020 के पेपर ने तीन ओपन-डोमेन सवाल-जवाब कामों में अब तक का सर्वश्रेष्ठ नतीजा (state of the art) बनाया, और उसके लेखकों ने दिखाया कि दस्तावेज़ बदलने पर मॉडल के जवाब बदल जाते हैं, बिना दोबारा प्रशिक्षण के।

· · 8 मिनट का पठन

भाषा मॉडल प्रशिक्षण में जो सीखता है, उसे अपनी ही संख्याओं के भीतर रखता है, और उन संख्याओं को अपडेट करने का मतलब उसे फिर से प्रशिक्षित करना है। 22 मई 2020 को arXiv पर जमा हुए और NeurIPS 2020 में स्वीकृत एक पेपर में पैट्रिक लुईस, एथन पेरेज़, अलेक्ज़ांड्रा पिक्टस, फ़ाबियो पेट्रोनी और आठ सह-लेखकों ने एक अलग व्यवस्था बताई। उनका मॉडल, जिसे रिट्रीवल-ऑगमेंटेड जनरेशन या RAG कहा गया, पहले दस्तावेज़ों के एक संग्रह में खोज करता है और फिर सबसे अच्छे पैसेज सामने रखकर अपना जवाब लिखता है। इसने तीन ओपन-डोमेन सवाल-जवाब कामों में अब तक का सर्वश्रेष्ठ नतीजा बनाया, और इसने लेखकों को यह करने दिया कि संग्रह बदलकर वे बदल दें कि मॉडल क्या जानता है।

चार चरण, सीधे शब्दों में

पाइपलाइन का रूप 2020 के पेपर में और उसके बाद बने सिस्टमों में एक-सा है। Anthropic की 2024 की इंजीनियरिंग पोस्ट तैयारी के चरण गिनाती है: दस्तावेज़ों को पाठ के टुकड़ों में काटना, जो आम तौर पर कुछ सौ टोकन से ज़्यादा नहीं होते (टोकन शब्द का एक छोटा हिस्सा होता है); एम्बेडिंग मॉडल से हर टुकड़े को वेक्टर में बदलना, यानी संख्याओं की वह सूची जो अर्थ को दर्ज करती है; और वेक्टरों को ऐसे डेटाबेस में रखना जिसमें समानता के आधार पर खोज हो सके।

सवाल के समय सिस्टम सवाल को उसी तरह वेक्टर में बदलता है, उन टुकड़ों को उठाता है जिनके वेक्टर उसके सबसे क़रीब बैठते हैं, और उन्हें पाठ बनाने वाले जनरेटर को भेजे जाने वाले प्रॉम्प्ट में जोड़ देता है। गाओ और नौ सह-लेखक, इस क्षेत्र के 2023 के सर्वेक्षण में, इस तीन-चरणीय रूप को “नेव RAG” (naive RAG) कहते हैं: इंडेक्सिंग, रिट्रीवल, जनरेशन।

मूल पेपर की संख्याएं ठोस हैं। लुईस और साथियों ने दिसंबर 2018 का अंग्रेज़ी विकिपीडिया डंप लिया और हर लेख को 100 शब्दों के अलग-अलग टुकड़ों में बांटा, जिससे 21 मिलियन दस्तावेज़ बने। उन्होंने एक तेज़ अनुमानित विधि से इंडेक्स में खोज की, प्रशिक्षण में हर सवाल के लिए 5 या 10 पैसेज निकाले, और उन्हें सवाल के साथ BART-large को दिया, जो 400 मिलियन पैरामीटर वाला पाठ जनरेटर है।

पहले आया रिट्रीवर

खोजने वाला हिस्सा 10 अप्रैल 2020 को जमा हुए एक पेपर से आया, लुईस के पेपर से छह हफ़्ते पहले। व्लादिमीर कार्पुखिन और सात सह-लेखकों ने, जिनमें लुईस भी थे, डेंस पैसेज रिट्रीवल बनाया, जो सवालों को पैसेजों से साझा शब्दों के बजाय अर्थ के आधार पर मिलाता है। उनका पेपर बताता है कि इसने BM25 सिस्टम को, यानी शब्द मिलाने की पुरानी विधि को, शीर्ष 20 पैसेजों पर पूर्ण सटीकता के 9 से 19 अंक से हराया। Natural Questions डेटासेट पर आंकड़े 78.4 प्रतिशत बनाम 59.1 प्रतिशत थे।

Meta AI की 28 सितंबर 2020 की ब्लॉग पोस्ट, जो सेबास्टियन रीडल, डूवे कीला, पैट्रिक लुईस और अलेक्ज़ांड्रा पिक्टस ने लिखी, RAG को Facebook AI के डेंस पैसेज रिट्रीवर और BART का जोड़ बताती है। इससे पहले का तरीका REALM था, जो केलविन गू और चार सह-लेखकों का 10 फ़रवरी 2020 का था और जिसमें भाषा मॉडल के प्री-ट्रेनिंग के दौरान ही रिट्रीवर को प्रशिक्षित किया गया था। लुईस का पेपर कहता है कि RAG उस महंगे विशेष प्री-ट्रेनिंग के बिना मज़बूत नतीजे पाता है, और अब तक के सर्वश्रेष्ठ प्रदर्शन के लिए अलग रीरैंकर की ज़रूरत नहीं पड़ती।

अदला-बदली की परीक्षा

Meta की पोस्ट व्यावहारिक फ़ायदे को एक वाक्य में रखती है: RAG के साथ, “दस्तावेज़ बदलकर ही हम तय कर लेते हैं कि वह क्या जानता है”। पेपर इसके पीछे का प्रयोग देता है, जिसे वह इंडेक्स हॉट-स्वैपिंग कहता है।

लेखकों ने दिसंबर 2016 के विकिपीडिया डंप से दूसरा इंडेक्स बनाया और 82 विश्व नेताओं की एक सूची तैयार की जो इन दो तारीख़ों के बीच बदल चुके थे। उन्होंने हर इंडेक्स से “पेरू का राष्ट्रपति कौन है?” और ऐसे ही सवाल पूछे। 2016 के नेताओं के लिए 2016 के इंडेक्स के साथ उसने 70 प्रतिशत सही जवाब दिए और 2018 के नेताओं के लिए 2018 के इंडेक्स के साथ 68 प्रतिशत। ग़लत साल के इंडेक्स के साथ सटीकता गिरकर 12 प्रतिशत और 4 प्रतिशत रह गई। पेपर की व्याख्या है कि मॉडल का दुनिया का ज्ञान उसकी नॉन-पैरामीट्रिक मेमरी को, यानी दस्तावेज़ भंडार के लिए उसके शब्द को, बदलकर अपडेट किया जा सकता है।

उसी पेपर में दर्ज है कि मेमरी कच्चा पाठ है, इसलिए वह इंसान के पढ़ने और लिखने लायक है। Jeopardy-शैली के सवाल लिखने की इंसानी तुलना में, 452 जोड़ीदार आउटपुट में से 42.7 प्रतिशत में जजों ने RAG को BART बेसलाइन से ज़्यादा तथ्यात्मक पाया, और 7.1 प्रतिशत में BART को।

Meta की पोस्ट कहती है कि मॉडल Hugging Face की Transformers लाइब्रेरी के हिस्से के रूप में जारी किया गया। Hugging Face का दस्तावेज़ पन्ना उस लाइब्रेरी में मॉडल के योगदान की तारीख़ 16 नवंबर 2020 बताता है और विचार को उन्हीं शब्दों में बयान करता है: प्रासंगिक पैसेज लाओ, फिर जवाब को उन पर टिकाओ, ताकि इंडेक्स बदलकर ज्ञान अपडेट हो।

जहां टुकड़े अपना संदर्भ खो देते हैं

कमज़ोर जगह काटना है। Anthropic की पोस्ट एक मिसाल देती है: “कंपनी का राजस्व पिछली तिमाही के मुक़ाबले 3% बढ़ा” जैसा टुकड़ा यह नहीं बताता कि कौन-सी कंपनी या कौन-सी तिमाही, इसलिए किसी ख़ास फ़र्म के नतीजों की खोज उसे चूक सकती है। Anthropic का इलाज, Contextual Retrieval, एक मॉडल से हर टुकड़े के लिए आम तौर पर 50 से 100 टोकन का एक छोटा नोट लिखवाता है कि वह दस्तावेज़ में कहां से आया है, और इंडेक्सिंग से पहले उस नोट को टुकड़े के आगे रख देता है।

Anthropic अपने नतीजे इस रूप में बताता है कि कोडबेस, कथा-साहित्य, arXiv पेपरों और विज्ञान पेपरों पर औसत लेते हुए प्रासंगिक पैसेजों का कितना हिस्सा शीर्ष 20 निकाले गए नतीजों में नहीं आया:

  • सामान्य एम्बेडिंग: 5.7 प्रतिशत छूटे।
  • संदर्भ-युक्त एम्बेडिंग के साथ: 3.7 प्रतिशत।
  • संदर्भ-युक्त एम्बेडिंग और संदर्भ-युक्त BM25 के साथ: 2.9 प्रतिशत।
  • रीरैंकिंग का चरण जोड़ने पर: 1.9 प्रतिशत।

ये आंकड़े Anthropic के अपने डेटासेटों पर उसके अपने परीक्षणों के हैं, जो Gemini के Text 004 एम्बेडिंग और एक Cohere रीरैंकर के साथ चलाए गए, और पोस्ट स्वतंत्र दोहराव का कोई ब्योरा नहीं देती। वही पोस्ट पूरे तरीके की एक सीमा भी जोड़ती है: अगर ज्ञान-भंडार करीब 200,000 टोकन से छोटा है, यानी लगभग 500 पन्ने, तो उसे बिना किसी रिट्रीवल के सीधे प्रॉम्प्ट में रखा जा सकता है।

रिट्रीवल क्या नहीं हटाता

रिट्रीवल गढ़े हुए जवाबों की दर घटाता है और उसे शून्य तक नहीं पहुंचाता। शस्टर और चार सह-लेखकों ने 2021 में बताया कि चैटबॉट के भीतर रिट्रीवल ने हैलुसिनेशन को काफ़ी घटाया, जैसा इंसानी मूल्यांकनकर्ताओं ने आंका। गाओ का सर्वेक्षण बची हुई विफलता गिनाता है: मॉडल अब भी ऐसी सामग्री लिख सकता है जिसे निकाला गया पाठ समर्थन नहीं देता, और रिट्रीवल का चरण ख़ुद बेमेल टुकड़े चुन सकता है।

किसी उत्पाद के दावे की सबसे साफ़ परीक्षा कानून में है। मगेश और पांच सह-लेखकों ने RAG इस्तेमाल करने वाले व्यावसायिक कानूनी शोध टूल परखे और पाया कि हर एक 17 से 33 प्रतिशत समय हैलुसिनेशन करता है, एक सामान्य चैटबॉट के रूप में GPT-4 से कम बार, और शून्य से काफ़ी ऊपर, जबकि विक्रेता कानूनी उद्धरणों के “हैलुसिनेशन-मुक्त” होने का दावा करते थे। AI हैलुसिनेशन पर tuput की व्याख्या उस अध्ययन और उसके बाद आए अदालती आदेशों को समेटती है, और बड़े भाषा मॉडल के प्रशिक्षण वाली व्याख्या उस संख्याओं में बसे ज्ञान को समझाती है जिसे RAG पूरा करता है।

लुईस का अपना एब्स्ट्रैक्ट प्रोवेनेंस को, यानी यह दिखा पाने की क्षमता को कि जवाब कहां से आया, एक खुली शोध समस्या के रूप में गिनाता है। 2023 का सर्वेक्षण ज़्यादा आशावादी है: वह कहता है कि रिट्रीवल-आधारित जनरेशन मूल संदर्भों को जल्दी खोज सकता है ताकि उपयोगकर्ता जवाब की जांच कर सकें। कोई उत्पाद वे संदर्भ दिखाता है या नहीं, यह इस पर निर्भर है कि उसे कैसे बनाया गया है।

एक भारतीय मिसाल, यह कहते हुए कि क्या ज्ञात है और क्या नहीं

भारत के कृषि और किसान कल्याण मंत्रालय ने 17 फ़रवरी 2026 को Bharat-VISTAAR का पहला चरण शुरू किया। उसकी 16 फ़रवरी की विज्ञप्ति कहती है कि यह प्लेटफ़ॉर्म सरकारी और वैज्ञानिक स्रोतों को जोड़कर किसानों तक जानकारी पहुंचाता है, जिसमें भारतीय मौसम विज्ञान विभाग का मौसम, AgMarkNet से मंडी भाव, राष्ट्रीय कीट निगरानी प्रणाली से कीट और रोग की सलाह, AgriStack का डेटा और 10 केंद्रीय योजनाएं शामिल हैं। किसान हिंदी या अंग्रेज़ी में 155261 पर फ़ोन कर सकता है, और विज्ञप्ति प्लेटफ़ॉर्म को “सत्यापित और सुरक्षित जानकारी पर आधारित” कहती है।

न वह विज्ञप्ति और न 13 मार्च 2026 को राज्यसभा में मंत्रालय का जवाब नीचे के सॉफ़्टवेयर का वर्णन करता है या कहता है कि सिस्टम रिट्रीवल-ऑगमेंटेड जनरेशन इस्तेमाल करता है, इसलिए यह लेख ऐसा दावा नहीं करता। इन पन्नों में जो वर्णित है, वह वही डिज़ाइन है जिसके समर्थन के लिए RAG बना है: ऐसे जवाब जो किसी मॉडल की स्मृति से नहीं, नामित सरकारी रिकॉर्डों से आने चाहिए। tuput का एक और लेख Bharat-VISTAAR को खेती की दूसरी दर्ज तैनातियों के साथ रखता है।

13 मार्च का जवाब जोड़ता है कि भारतीय कृषि अनुसंधान परिषद की फ़सल पद्धतियां प्लेटफ़ॉर्म का हिस्सा हैं, और कि शुरू होने के तीन महीने के भीतर चार और भाषाएं और छह महीने के भीतर पांच और भाषाएं जोड़ने की योजना है।

Share
Copied!

स्रोत और आगे पढ़ने के लिए

  1. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, submitted 22 May 2020)
  2. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, full paper (PDF)
  3. NeurIPS 2020 Proceedings: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
  4. Meta AI blog: Retrieval Augmented Generation, streamlining the creation of intelligent natural language processing models (28 September 2020)
  5. Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering (arXiv:2004.04906)
  6. Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering, full paper (PDF)
  7. Guu et al.: REALM, Retrieval-Augmented Language Model Pre-Training (arXiv:2002.08909, 10 February 2020)
  8. Hugging Face Transformers documentation: RAG
  9. Anthropic: Introducing Contextual Retrieval (19 September 2024)
  10. Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey (arXiv:2312.10997)
  11. Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey, full paper (PDF)
  12. Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv:2405.20362)
  13. Shuster et al.: Retrieval Augmentation Reduces Hallucination in Conversation (arXiv:2104.07567)
  14. PIB, Ministry of Agriculture and Farmers Welfare: Bharat-VISTAAR to be launched on 17 February (16 February 2026)
  15. PIB, Ministry of Agriculture and Farmers Welfare: Rollout of BHARAT-VISTAAR Platform, Rajya Sabha reply (13 March 2026)

यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।

#retrieval-augmented generation#rag#large language models#dense passage retrieval#contextual retrieval#ai hallucination#bharat-vistaar#embeddings

अच्छा लगा? अगला लेख पाएँ।

एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।

इसी श्रेणी में और: एआई और प्रौद्योगिकी
न्यूयॉर्क के दो वकीलों और उनकी फ़र्म ने 2023 में चैटजीपीटी के गढ़े छह अदालती मामलों के लिए 5,000 डॉलर चुकाए, और अक्टूबर 2026 तक एक सार्वजनिक ट्रैकर में एआई मतिभ्रम वाले 2,202 अदालती फ़ैसले दर्ज थे
न्यूयॉर्क, अलबामा और भारत के सर्वोच्च न्यायालय के आदेश, और उनके बगल में चैटबॉट के तथ्य गढ़ने पर शोध पत्र। वे दिखाते हैं कि गढ़ा हुआ हवाला जज तक कैसे पहुँचता है, त्रुटि दर किससे घटी है, और अदालतों ने जवाब देने का कौन सा रास्ता चुना है।
गूगल के आठ लेखकों ने 12 जून 2017 को ट्रांसफ़ॉर्मर पर शोधपत्र पोस्ट किया, और उसके बड़े मॉडल ने आठ GPU पर 3.5 दिन के प्रशिक्षण के बाद अंग्रेज़ी से जर्मन में 28.4 BLEU हासिल किए
आज के चैटबॉट के पीछे के डिज़ाइन की सैर, शोधपत्र की अपनी तालिकाओं और गूगल के अपने उदाहरण के साथ, जिसमें एक शब्द को नदी की ओर देखना पड़ता है। इसमें 2017 के डिज़ाइन के वे हिस्से भी हैं जिन्हें बाद के मॉडलों ने रखा, बदला या छोड़ा।
17 फरवरी 2026 को जयपुर में शुरू हुआ भारत-विस्तार किसान को 155261 पर फ़ोन करके AI सलाहकार से सवाल पूछने देता है, और आईसीएआर, मौसम विभाग, एगमार्कनेट और एग्रीस्टैक के आँकड़ों से जुड़ा है
155261 पर एक कॉल से किसान उस AI सलाहकार तक पहुँचता है, जिसे आईसीएआर की कृषि मार्गदर्शिकाओं, मौसम और मंडी के आँकड़ों से जानकारी मिलती है। शुरुआत की सरकारी विज्ञप्तियाँ, भाषाओं की योजना और अब तक प्रकाशित उपयोग के आँकड़े, तारीख़ों और स्रोतों के साथ।
← सभी लेख