Skip to content
सिर्फ़ सही उत्तरों के इनाम से प्रशिक्षण के दौरान अमेरिकी गणित प्रतियोगिता में DeepSeek-R1 का स्कोर 15.6% से बढ़कर 77.9% हो गया, और Nature ने पत्र के साथ रेफ़री की रिपोर्टें भी छापीं
एआई और प्रौद्योगिकी

सिर्फ़ सही उत्तरों के इनाम से प्रशिक्षण के दौरान अमेरिकी गणित प्रतियोगिता में DeepSeek-R1 का स्कोर 15.6% से बढ़कर 77.9% हो गया, और Nature ने पत्र के साथ रेफ़री की रिपोर्टें भी छापीं

चित्रण: tuput

हिन्दी

DeepSeek का R1 पत्र 17 सितंबर 2025 को Nature में छपा (खंड 645, पृष्ठ 633 से 638)। उसके अनुसार भाषा मॉडल को सिर्फ़ सही अंतिम उत्तर पर इनाम देने से, बिना किसी इंसान के लिखे हल किए उदाहरणों की नक़ल के, लंबे और ख़ुद को जाँचने वाले हल लिखना आ सकता है। पत्रिका ने आठ रेफ़री की रिपोर्टें और लेखकों के जवाब भी छापे।

· · 10 मिनट का पठन

17 सितंबर 2025 को Nature ने DeepSeek-R1 के पीछे का पत्र छापा। यह हांगज़ाओ की कंपनी DeepSeek का रीज़निंग मॉडल है, और पत्र खंड 645, पृष्ठ 633 से 638 में है। इसका केंद्रीय नतीजा यह है कि भाषा मॉडल को सिर्फ़ सही अंतिम उत्तर पर इनाम देने से, बिना इंसानों के लिखे हल किए उदाहरणों की नक़ल के, लंबे और ख़ुद को जाँचने वाले हल लिखना आ सकता है। 2024 की अमेरिकन इन्विटेशनल मैथमेटिक्स एग्ज़ामिनेशन (AIME) पर, जो हाई-स्कूल छात्रों की अमेरिकी गणित प्रतियोगिता है और जिसके उत्तर एक अकेली संख्या होते हैं, मॉडल का पहला संस्करण R1-Zero पत्र के चित्र 1 के अनुसार प्रशिक्षण के दौरान औसतन 15.6% सही से बढ़कर 77.9% पर पहुँचा। कई चुने गए उत्तरों पर बहुमत से वोट लेने पर यह 86.7% हो गया।

Nature ने रेफ़री की रिपोर्टें और लेखकों के जवाब पत्र के साथ छापे, और उसके पूरक पन्नों में प्रशिक्षण का बिल दिया है: लेखकों के माने हुए GPU किराये के भाव पर 2,94,000 डॉलर। आगे समझाया गया है कि ऐसा मॉडल कैसे प्रशिक्षित होता है, हर विचार कहाँ से आया, और सहकर्मी समीक्षा ने क्या बदला।

पत्र क्या दावा करता है

R1-Zero की शुरुआत DeepSeek-V3 Base से होती है, जो वेब टेक्स्ट पर पहले से प्रीट्रेन किया हुआ मॉडल है (हमारी प्रशिक्षण की व्याख्या में प्रीट्रेनिंग का चरण समझाया गया है)। इसके बाद लेखकों ने रीइनफ़ोर्समेंट लर्निंग लगाई, जो परीक्षण-और-भूल का तरीक़ा है जिसमें मॉडल के अपने उत्तरों को अंक मिलते हैं और मॉडल को उन उत्तरों की ओर धकेला जाता है जिन्हें अच्छे अंक मिले। उन्होंने सामान्य सुपरवाइज़्ड फ़ाइन-ट्यूनिंग का चरण छोड़ दिया, जिसमें लोग मॉडल के नक़ल करने के लिए हल किए उदाहरण देते हैं। इनाम सिर्फ़ इस पर टिका था कि अंतिम उत्तर ज्ञात सही उत्तर से मिलता है या नहीं। रूप के बारे में एकमात्र निर्देश एक टेम्पलेट था, जिसमें मॉडल से कहा गया कि अपना तर्क think टैग के बीच और उत्तर answer टैग के बीच रखे।

पत्र के अनुसार प्रशिक्षण के दौरान उत्तर लंबे होते गए और उनमें जाँच, पुनर्विचार और वैकल्पिक तरीक़ों की खोज शामिल होने लगी, हालाँकि लेखकों ने मॉडल को तर्क करना साफ़ तौर पर नहीं सिखाया था। R1-Zero में कमियाँ थीं: उसका पाठ पढ़ने में कठिन था और कभी-कभी एक ही उत्तर में अंग्रेज़ी और चीनी मिल जाती थी। इसलिए टीम ने DeepSeek-R1 को चरणों में बनाया। यह बातचीत की शैली में लिखे हज़ारों कोल्ड-स्टार्ट उदाहरणों से शुरू होता है, रीइनफ़ोर्समेंट लर्निंग जोड़ता है, फिर रिजेक्शन सैंपलिंग (मॉडल के सिर्फ़ अच्छे आउटपुट रखना) के साथ सुपरवाइज़्ड फ़ाइन-ट्यूनिंग का दूसरा दौर चलाता है, और उपयोगिता और हानिरहितता पर केंद्रित दूसरे रीइनफ़ोर्समेंट चरण पर ख़त्म होता है।

DeepSeek का रिलीज़ नोट मॉडल की तारीख़ 20 जनवरी 2025 बताता है और कहता है कि कोड और मॉडल MIT लाइसेंस के तहत हैं, और छह छोटे डिस्टिल्ड मॉडल भी जारी हुए। मॉडल कार्ड पर DeepSeek AIME 2024 में R1 को 79.8% पर रखता है, जबकि उसका आधार DeepSeek-V3 39.2% पर है, यह प्रति प्रश्न 64 चुने गए उत्तरों और तापमान 0.6 पर मापा गया। मॉडल के उत्तराधिकारियों की चर्चा चीनी ओपन-वेट मॉडलों पर हमारी नज़र में है। मॉडल के Hugging Face पेज पर, जब हमने उसे 12 नवंबर 2026 को खोला, अब तक करीब 5.15 करोड़ डाउनलोड दर्ज थे।

तीन पुराने विचार जिन पर पत्र खड़ा है

मॉडल अपने क़दम लिखे तो बेहतर करता है, यह विचार पहले प्रॉम्प्टिंग से आया। Google के जेसन वेई और साथियों ने चेन-ऑफ़-थॉट पत्र 28 जनवरी 2022 को डाला। वे बताते हैं कि 540 अरब पैरामीटर वाला मॉडल, जिसे सिर्फ़ आठ हल किए उदाहरण दिखाए गए, GSM8K पर अत्याधुनिक सटीकता तक पहुँचा, जो स्कूली गणित के शब्द-प्रश्नों का एक सेट है। 24 मई 2022 को ताकेशी कोजिमा और साथियों ने दिखाया कि “Let’s think step by step” शब्द जोड़ने से, बिना किसी उदाहरण के, एक बड़े मॉडल की सटीकता MultiArith पर 17.7% से 78.7% और GSM8K पर 10.4% से 40.7% हो गई।

तीसरी धारा क़दमों पर ही फ़ीडबैक की थी। 31 मई 2023 को डाले गए एक पत्र में OpenAI के शोधकर्ताओं ने सिर्फ़ अंतिम नतीजे पर इनाम देने की तुलना हर बीच के क़दम पर इनाम देने से की। MATH डेटासेट पर क़दम-स्तर का फ़ीडबैक जीता, जिसमें सबसे अच्छे मॉडल ने एक प्रतिनिधि उपसमूह के 78% हल किए, और टीम ने PRM800K जारी किया, जो लोगों के लिखे 8,00,000 क़दम-स्तर के लेबल हैं।

इनमें से हर एक को लोगों की ज़रूरत थी: उदाहरणों के लिए, या हर क़दम के लेबल के लिए। Nature पत्र की भूमिका तर्क देती है कि इंसानों के टिप्पणी किए तर्क-निशानों पर निर्भरता स्केलिंग को धीमा करती है और मॉडल को उन उदाहरणों की गुणवत्ता पर रोक देती है जो उसे दिखाए गए। उनकी परीक्षा यह थी कि क्या कोई बेस मॉडल सिर्फ़ इनाम से अच्छी तर्क-रणनीतियाँ खोज सकता है।

गणित के उत्तर को मशीन कैसे जाँच सकती है

लेखक तर्क के कामों पर दो तरह के नियम-आधारित इनाम इस्तेमाल करते हैं। सटीकता का इनाम उत्तर जाँचता है: गणित के प्रश्न में अंतिम उत्तर एक तय रूप में चाहिए, जैसे किसी बॉक्स के भीतर, ताकि कोई प्रोग्राम उसे कुंजी से मिला सके, और कोड को कंपाइलर पहले से तय टेस्ट केस पर चलाता है। फ़ॉर्मैट का इनाम जाँचता है कि तर्क टैग के भीतर है। दोनों बराबर वज़न से जोड़े जाते हैं।

उन्होंने तर्क के कामों पर सीखा हुआ रिवॉर्ड मॉडल, यानी उत्तरों को अंक देने वाला दूसरा न्यूरल नेटवर्क, न इस्तेमाल करने का फ़ैसला किया। पत्र कहता है कि ऐसे मॉडल बड़े पैमाने के प्रशिक्षण में रिवॉर्ड हैकिंग के लिए खुले होते हैं, यानी मॉडल समस्या हल करने के बजाय अंक देने वाले को ख़ुश करना सीख लेता है, और उन्हें दोबारा प्रशिक्षित करने में अतिरिक्त कंप्यूटिंग लगती है।

सीखने की विधि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन, यानी GRPO है। हर प्रश्न के लिए मॉडल उत्तरों का एक समूह लिखता है, R1-Zero के रन में 16। हर उत्तर के इनाम की तुलना समूह के औसत और फैलाव से की जाती है, और औसत से ऊपर के उत्तरों की संभावना बढ़ाई जाती है। Nature पत्र के चित्र का कैप्शन कहता है कि यह एडवांटेज का अनुमान समूह के अंकों से सीधे लगाता है, पुरानी PPO विधि के अलग वैल्यू फ़ंक्शन के बिना। DeepSeek की टीम ने GRPO को 5 फ़रवरी 2024 के DeepSeekMath पत्र में पेश किया, जहाँ 7 अरब पैरामीटर वाला मॉडल MATH बेंचमार्क पर 51.7% तक पहुँचा। Nature पत्र उस काम का हवाला देता है और विधि को अपने Methods खंड में बताता है।

R1-Zero 10,400 क़दम प्रशिक्षित हुआ। हर क़दम में 32 प्रश्न थे और हर प्रश्न पर 16 उत्तर, यानी 512 उत्तर, और लंबाई की सीमा 32,768 टोकन थी जिसे क़दम 8,200 के बाद बढ़ाकर 65,536 किया गया।

प्रशिक्षण के वक्र ने क्या दिखाया

पत्र बताता है कि प्रशिक्षण के दौरान उत्तरों की औसत लंबाई लगातार बढ़ी, और मॉडल अपना काम जाँचते हुए सैकड़ों से हज़ारों टोकन लिखने लगा। उसका Extended Data चित्र आउटपुट में “wait”, “mistake” और “verify” जैसे चिंतन वाले शब्द गिनता है। शब्द “wait” शुरू में लगभग नदारद था, क़दम 4,000 और 7,000 के बीच यदा-कदा आया, और क़दम 8,000 के बाद तेज़ी से बढ़ा। लेखक एक बीच के उदाहरण को “aha moment” कहते हैं।

रेफ़री ने इस पाठ को सावधानी से लिया। एक ने लिखा कि इस असर को एक दूसरे समूह ने छोटे पैमाने पर दोहराया है, और जोड़ा कि एक अलग पत्र सुझाता है कि aha moment काफ़ी हद तक बेस मॉडल की गुणवत्ता को दर्शाता हो सकता है। दूसरे ने ध्यान दिलाया कि सभी मूल्यांकन सिर्फ़ अंतिम उत्तरों को अंक देते हैं, बीच के पाठ को नहीं, इसलिए लिखे गए क़दमों की संगति नहीं मापी जाती। इसलिए यह लेख उन्हें बीच के क़दम बताता है जो मॉडल लिख देता है, और यह दावा नहीं करता कि मॉडल सोचता है।

प्रशिक्षण के बिल में क्या शामिल है

पूरक जानकारी R1-Zero के लिए 1,01,000 H800 GPU घंटे गिनाती है, फ़ाइन-ट्यूनिंग डेटा बनाने के लिए 5,000 घंटे और R1 के लिए 41,000 घंटे, कुल 1,47,000। 2 डॉलर प्रति GPU घंटे के माने हुए किराये पर यह 2,94,000 डॉलर बैठता है। रन में 64 गुणा 8 H800 GPU लगे, यानी 512 चिप, R1-Zero के लिए करीब 198 घंटे और R1 के लिए करीब 80 घंटे। लेखक कहते हैं कि उन्होंने पहले 30 अरब पैरामीटर वाले मॉडल पर A100 GPU से तैयारी की।

यह आँकड़ा सिर्फ़ तर्क के चरणों को ढकता है। Nature के लिए रिपोर्ट करने वाला Scientific American नोट करता है कि यह उस करीब 60 लाख डॉलर के ऊपर है जो DeepSeek ने बेस मॉडल पर ख़र्च किए। पूरक पन्ने DeepSeek-V3 को 671 अरब पैरामीटर वाला बताते हैं, जिनमें से हर टोकन के लिए 37 अरब सक्रिय रहते हैं, और जिसे 14.8 खरब टोकन पर प्रशिक्षित किया गया।

रेफ़री ने क्या पूछा, और क्या बदला

पांडुलिपि 14 फ़रवरी 2025 को प्राप्त हुई, 17 जुलाई 2025 को स्वीकार हुई और 17 सितंबर 2025 को छपी। Nature का संपादकीय कहता है कि आठ विशेषज्ञों ने इसकी समीक्षा की और रिपोर्टें और जवाब इसके साथ छापे गए। Hugging Face के लुइस टन्स्टॉल, जो नामित समीक्षकों में से एक हैं, ने Nature से कहा कि यह चलन “a very welcome precedent” है। ओहायो स्टेट यूनिवर्सिटी के हुआन सन ने कहा, “Other firms should do the same.”

कई बदलाव दर्ज हैं। एक रेफ़री ने लेखकों से आग्रह किया कि मॉडल के बीच के पाठ को इंसानी शब्दों में बयान करना कम करें। लेखकों ने वह शब्दावली हटा दी, और अपने जवाब में माना कि इंसान जैसे पैटर्न उपयोगकर्ताओं को आउटपुट पर ज़रूरत से ज़्यादा भरोसा करने की ओर ले जा सकते हैं, और इस जोखिम को संशोधित पाठ में जोड़ा। रेफ़री ने संदूषण के बारे में भी पूछा, जहाँ परीक्षा के प्रश्न प्रशिक्षण डेटा में रिस जाते हैं (AI बेंचमार्क की जाँचें दिखाती हैं कि निर्माताओं के आँकड़े सावधानी से क्यों पढ़े जाते हैं)। Nature के संपादकीय के अनुसार DeepSeek ने अपने सुरक्षा उपायों का ब्योरा दिया और मॉडल की रिलीज़ के बाद प्रकाशित बेंचमार्क पर मूल्यांकन जोड़े। पूरक पन्ने AIME 2025 पर OpenAI के o1-1217 के 80% के मुक़ाबले 75%, और AMC 12 2024 प्रतियोगिता में o1-1217 के 141.0 के मुक़ाबले 150 में से 143.7 बताते हैं, सब DeepSeek के अपने परीक्षणों में। वे यह भी मानते हैं कि संदूषण के विरुद्ध इस्तेमाल हुई n-ग्राम फ़िल्टरिंग दूसरे शब्दों में लिखे परीक्षा-प्रश्नों को नहीं पकड़ सकती, इसलिए 2024 से पहले जारी बेंचमार्क अब भी प्रभावित हो सकते हैं।

तीसरा बदलाव एक सुरक्षा खंड था। Nature का संपादकीय कहता है कि समीक्षकों ने सुरक्षा परीक्षणों की जानकारी की कमी की ओर इशारा किया, और पत्र अब R1 की तुलना प्रतिद्वंद्वी मॉडलों से करता है। वह निष्कर्ष निकालता है कि R1 का अंतर्निहित सुरक्षा स्तर मध्यम है, जो 13 मई 2024 के GPT-4o के बराबर है। OpenAI के डेटा के सवाल पर Scientific American बताता है कि DeepSeek ने रेफ़री से कहा कि R1 ने OpenAI मॉडलों के बनाए तर्क-उदाहरणों की नक़ल करके नहीं सीखा, साथ ही माना कि उसका बेस मॉडल उन वेब पन्नों पर प्रशिक्षित हुआ जिनमें AI-जनित पाठ होगा। सन ने इस खंडन को “as convincing as what we could see in any publication” कहा। टन्स्टॉल ने कहा कि वे पूरी तरह निश्चित नहीं हो सकते, लेकिन दूसरी प्रयोगशालाओं की दोहराने की कोशिशें सुझाती हैं कि नुस्ख़ा उसके बिना भी काम करता है। प्रशिक्षण डेटा ख़ुद प्रकाशित नहीं किया गया, एक सीमा जिसे एक रेफ़री ने पुनरुत्पादन के लिए चिह्नित किया।

लेखक किसे अनसुलझा बताते हैं

पत्र का अपना सीमाओं वाला खंड कई बातें गिनाता है। R1 का संरचित आउटपुट मौजूदा मॉडलों से कमज़ोर है, और वह सर्च इंजन या कैलकुलेटर जैसे टूल इस्तेमाल नहीं कर सकता। वह कभी-कभी आसान प्रश्नों पर बहुत सारे टोकन ख़र्च करता है। वह चीनी और अंग्रेज़ी के लिए ट्यून है और दूसरी भाषा में पूछे जाने पर भी अंग्रेज़ी में तर्क कर सकता है। फ़्यू-शॉट प्रॉम्प्टिंग उसे और बिगाड़ती है, इसलिए लेखक समस्या को सीधे बताने की सलाह देते हैं। सॉफ़्टवेयर-इंजीनियरिंग के परीक्षण चलने में लंबा समय लेते हैं, इसलिए वहाँ बड़े पैमाने की रीइनफ़ोर्समेंट लर्निंग मुश्किल से लग पाई, और उन बेंचमार्क पर R1 DeepSeek-V3 से कोई बड़ी बढ़त नहीं दिखाता।

विधि को एक भरोसेमंद सत्यापक चाहिए। लेखन जैसे कामों के लिए, जहाँ कोई नियम उत्तर को अंक नहीं दे सकता, लेखकों ने इंसानों के टिप्पणी किए डेटा और सिर्फ़ सैकड़ों रीइनफ़ोर्समेंट क़दमों का इस्तेमाल किया। सामान्य डेटा के लिए मॉडल-आधारित इनाम दूसरे चरण के 1,700 क़दमों में से सिर्फ़ आख़िरी 400 तक सीमित रखा गया, क्योंकि ज़्यादा देर तक उसके संपर्क में रहने से रिवॉर्ड हैकिंग हुई।

Share
Copied!

स्रोत और आगे पढ़ने के लिए

  1. Guo and others (DeepSeek-AI): DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature 645, 633 to 638 (17 September 2025)
  2. Nature: Supplementary Information for the DeepSeek-R1 paper (cost table, evaluation settings, decontamination, fresh test sets)
  3. Nature: Peer Review File for the DeepSeek-R1 paper (referee reports and author responses)
  4. arXiv: DeepSeek-R1, Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv:2501.12948, submitted 22 January 2025, revised 4 January 2026)
  5. Ippolito and Zhang, Nature News and Views: AI can learn to show its workings through trial and error (17 September 2025)
  6. Nature editorial: Bring us your LLMs, why peer review is good for AI models (17 September 2025)
  7. Gibney, Scientific American (with Nature): Secrets of DeepSeek AI model revealed in landmark paper (17 September 2025)
  8. Wei and others (Google): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903, 28 January 2022)
  9. Kojima and others: Large Language Models are Zero-Shot Reasoners (arXiv:2205.11916, 24 May 2022)
  10. Lightman and others (OpenAI): Let's Verify Step by Step (arXiv:2305.20050, 31 May 2023)
  11. Shao and others (DeepSeek): DeepSeekMath, Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300, 5 February 2024)
  12. DeepSeek: DeepSeek-R1 model card on Hugging Face (MIT licence, evaluation table)
  13. DeepSeek API Docs: DeepSeek-R1 Release (20 January 2025)

यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।

#reasoning models#deepseek-r1#chain of thought#reinforcement learning#grpo#peer review#nature#ai training

अच्छा लगा? अगला लेख पाएँ।

एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।

इसी श्रेणी में और: एआई और प्रौद्योगिकी
Google DeepMind के AI चक्रवात मॉडल ने Nature के एक शोधपत्र में पाँच दिन के पूर्वानुमान में औसतन 230 किलोमीटर की पथ-त्रुटि दिखाई, जबकि यूरोपीय ensemble की 370 रही, और उसके अपने लेखक तेज़ तीव्रीकरण को अनसुलझी समस्या कहते हैं
मॉडल को उन तूफ़ानों पर परखा गया जो उसने कभी देखे नहीं थे, और सीधा परीक्षण अटलांटिक और पूर्वी प्रशांत को ढकता है। विश्व मौसम विज्ञान संगठन की गिनती में 1970 से 2019 के बीच चक्रवात से हुई 84% मौतें बांग्लादेश, म्यांमार और भारत में दर्ज हुईं, और उत्तर हिंद महासागर पूरक सामग्री में एक नामित नक्शे के पैनल के रूप में ही आता है।
गूगल के आठ लेखकों ने 12 जून 2017 को ट्रांसफ़ॉर्मर पर शोधपत्र पोस्ट किया, और उसके बड़े मॉडल ने आठ GPU पर 3.5 दिन के प्रशिक्षण के बाद अंग्रेज़ी से जर्मन में 28.4 BLEU हासिल किए
आज के चैटबॉट के पीछे के डिज़ाइन की सैर, शोधपत्र की अपनी तालिकाओं और गूगल के अपने उदाहरण के साथ, जिसमें एक शब्द को नदी की ओर देखना पड़ता है। इसमें 2017 के डिज़ाइन के वे हिस्से भी हैं जिन्हें बाद के मॉडलों ने रखा, बदला या छोड़ा।
17 फरवरी 2026 को जयपुर में शुरू हुआ भारत-विस्तार किसान को 155261 पर फ़ोन करके AI सलाहकार से सवाल पूछने देता है, और आईसीएआर, मौसम विभाग, एगमार्कनेट और एग्रीस्टैक के आँकड़ों से जुड़ा है
155261 पर एक कॉल से किसान उस AI सलाहकार तक पहुँचता है, जिसे आईसीएआर की कृषि मार्गदर्शिकाओं, मौसम और मंडी के आँकड़ों से जानकारी मिलती है। शुरुआत की सरकारी विज्ञप्तियाँ, भाषाओं की योजना और अब तक प्रकाशित उपयोग के आँकड़े, तारीख़ों और स्रोतों के साथ।
← सभी लेख