चित्रण: tuput
हिन्दी
मेटा का Llama 3 पेपर और मॉडल कार्ड एक आधुनिक प्रशिक्षण के आँकड़े देते हैं: 16,000 तक H100 चिप, 15.6 खरब टोकन और 3.8 x 10^25 फ़्लोटिंग-पॉइंट संक्रियाएँ। OpenAI का InstructGPT पेपर दिखाता है कि मानव फ़ीडबैक उसके ऊपर क्या जोड़ता है, और प्रीट्रेनिंग की लागत के एक बहुत छोटे हिस्से में।
मेटा के प्रमुख Llama 3 मॉडल में 405 अरब पैरामीटर हैं, यानी न्यूरल नेटवर्क के भीतर के समायोज्य अंक, और उसने 15.6 खरब टोकन से सीखा, जो कुछ अक्षर लंबे टेक्स्ट के टुकड़े होते हैं। Llama 3.1 मॉडल कार्ड इस अकेले मॉडल के लिए Nvidia H100 चिपों पर 30.84 मिलियन GPU घंटे बताता है, और तीन आकारों वाले पूरे परिवार के लिए 39.3 मिलियन। इसका वर्णन करने वाला पेपर, जो 23 जुलाई 2024 का है, कहता है कि 405B मॉडल का प्रशिक्षण 16,000 तक H100 पर हुआ। (मेटा का पेपर 3.1 मॉडलों के लिए भी Llama 3 नाम इस्तेमाल करता है, और यह लेख भी यही करता है।)
मेटा का पेपर इस काम को दो चरणों में बाँटता है। प्रीट्रेनिंग नेटवर्क को भारी पैमाने पर अगला शब्द भाँपना सिखाकर भाषा सिखाती है। फिर पोस्ट-ट्रेनिंग उसे निर्देश मानने और मानवीय पसंद से मेल खाने के लिए ट्यून करती है। यह लेख दोनों को क्रम से देखता है, उन्हीं आँकड़ों के साथ जो प्रयोगशालाओं ने अपने पेपरों और मॉडल कार्डों में छापे, और हर आँकड़े का स्रोत बताता चलता है।
कुछ भी सीखने से पहले टेक्स्ट को छाना जाता है
कच्चे वेब टेक्स्ट में दोहराव, स्पैम और कचरा भरा होता है, इसलिए हर प्रयोगशाला उसे पहले साफ़ करती है। OpenAI का GPT-3 पेपर (2020) Common Crawl, यानी वेब के एक सार्वजनिक संग्रह, के 41 मासिक स्नैपशॉट से शुरू होता है, जो 2016 से 2019 तक के हैं। छानने से पहले यह 45 टेराबाइट संपीड़ित टेक्स्ट था और छानने के बाद 570 गीगाबाइट, यानी लगभग 400 अरब टोकन।
छन्नी के दो हिस्से थे। OpenAI ने एक क्लासिफ़ायर प्रशिक्षित किया जो उसके उच्च गुणवत्ता वाले संदर्भ संग्रहों को कच्चे Common Crawl से अलग पहचानता था, और फिर उन दस्तावेज़ों को तरजीह दी जिन्हें क्लासिफ़ायर ने ऊँचे अंक दिए। उसने लगभग एक जैसे दस्तावेज़ भी हटाए, जिनमें डेटासेटों के बीच साझा प्रतियाँ शामिल थीं। लेखक जोड़ते हैं कि छानने में एक बग के कारण बेंचमार्क परीक्षण सेटों से कुछ ओवरलैप छूट गए, और उसे ठीक करने के लिए दोबारा प्रशिक्षण बहुत महँगा था।
Llama 3 की पाइपलाइन लंबी है। उसका पेपर बताता है कि बड़ी मात्रा में निजी जानकारी या वयस्क सामग्री वाली वेबसाइटें हटाई गईं, दोहराई गई पंक्तियाँ मिटाई गईं, “गंदे शब्द” गिने गए ताकि वे वयस्क साइटें पकड़ी जा सकें जो ब्लॉक सूचियों से छूट जाती हैं, और गुणवत्ता को तेज़ क्लासिफ़ायरों तथा धीमे RoBERTa-आधारित क्लासिफ़ायरों, दोनों से आँका गया। एक भाषा-पहचान प्रणाली दस्तावेज़ों को 176 भाषाओं में छाँटती है। इतने बड़े पैमाने पर टेक्स्ट की नक़ल कानूनन जायज़ है या नहीं, इसकी अदालतों में परीक्षा हो रही है, जैसा 2026 के तीन फ़ैसले दिखाते हैं। मेटा के अनुसार अंतिम मिश्रण लगभग 50 प्रतिशत सामान्य ज्ञान, 25 प्रतिशत गणित और तर्क, 17 प्रतिशत कोड और 8 प्रतिशत बहुभाषी टेक्स्ट है।
टेक्स्ट को टोकन में बाँटना
नेटवर्क अक्षर या पूरे शब्द नहीं पढ़ता। वह टोकन पढ़ता है, जो एक तय शब्दावली के टुकड़े होते हैं। सेनरिक, हैडो और बर्च ने 2015 में दिखाया कि दुर्लभ शब्दों को बाइट पेयर एन्कोडिंग नाम की विधि से छोटी उप-शब्द इकाइयों में तोड़ने पर एक अनुवाद प्रणाली ऐसे शब्द भी सँभाल सकती थी जो उसने पहले कभी नहीं देखे थे।
2017 के Transformer पेपर ने यही विधि अंग्रेज़ी और जर्मन के लिए लगभग 37,000 टोकन की साझा शब्दावली के साथ इस्तेमाल की। Llama 3 में 128,000 टोकन हैं: OpenAI के ओपन tiktoken टोकनाइज़र के 100,000 और ग़ैर-अंग्रेज़ी भाषाओं के लिए जोड़े गए 28,000। मेटा बताता है कि बड़ी शब्दावली ने अंग्रेज़ी का संपीड़न 3.17 से बढ़ाकर 3.94 अक्षर प्रति टोकन कर दिया, यानी उतने ही प्रशिक्षण कंप्यूट में ज़्यादा टेक्स्ट आ जाता है।
प्रीट्रेनिंग बहुत बड़े पैमाने पर अगले शब्द की भविष्यवाणी है
जिस डिज़ाइन ने इसे व्यावहारिक बनाया वह Transformer है, जो Google और टोरंटो विश्वविद्यालय की एक टीम से आया, जिसमें अशीष वासवानी और नोआम शज़ीर शामिल थे। वह पुराने कदम-दर-कदम रिकरेंट डिज़ाइन को छोड़ देता है और ध्यान (attention) पर टिकता है, एक ऐसी प्रणाली जिसमें किसी अंश का हर शब्द हर दूसरे शब्द को तौल सकता है। पेपर का बड़ा मॉडल आठ P100 GPU पर 3.5 दिन के बाद अंग्रेज़ी से जर्मन में 28.4 BLEU पर पहुँचा, जो अनुवाद का एक अंक है। उसके बेस मॉडल में 65 मिलियन पैरामीटर थे और वह 12 घंटे प्रशिक्षित हुआ।
प्रीट्रेनिंग ने फिर इसी नुस्खे को बड़ा किया। GPT-3 में 175 अरब पैरामीटर हैं, वह 2,048 टोकन की कॉन्टेक्स्ट विंडो पढ़ता है और उसे Microsoft के एक क्लस्टर में V100 GPU पर 300 अरब टोकन से प्रशिक्षित किया गया। InstructGPT पेपर उसकी प्रीट्रेनिंग को 3,640 petaflop/s-days पर रखता है, जो 8.64 x 10^19 फ़्लोटिंग-पॉइंट संक्रियाओं के बराबर इकाई है।
Llama 3 405B में 126 परतें हैं और उसे 3.8 x 10^25 संक्रियाओं के लिए प्रीट्रेन किया गया, जो मेटा के अनुसार सबसे बड़े Llama 2 से लगभग 50 गुना है। प्रशिक्षण 4 मिलियन टोकन के बैचों से शुरू हुआ और बढ़कर 16 मिलियन हो गया। आख़िरी चरण में कॉन्टेक्स्ट विंडो को छह कदमों में 8,000 से 128,000 टोकन तक खींचा गया, और एनीलिंग नाम के अंतिम चरण में बेहतर गुणवत्ता का डेटा इस्तेमाल हुआ।
किसी आकार के मॉडल को कितने टोकन देखने चाहिए
तय कंप्यूट बजट वाली प्रयोगशाला को उसे बड़े मॉडल और ज़्यादा टेक्स्ट के बीच बाँटना पड़ता है। DeepMind के Chinchilla पेपर (मार्च 2022) ने 70 मिलियन से 16 अरब से ऊपर पैरामीटर तक के 400 से ज़्यादा मॉडल 5 से 500 अरब टोकन पर प्रशिक्षित किए। उसका निष्कर्ष था कि मॉडल का आकार और प्रशिक्षण टोकन साथ-साथ बढ़ने चाहिए, ताकि एक के हर दोगुने होने पर दूसरा भी दोगुना हो।
DeepMind ने इसे Chinchilla से परखा, जो 1.4 खरब टोकन पर प्रशिक्षित 70 अरब पैरामीटर वाला मॉडल था और जिसमें उतना ही कंप्यूट लगा जितना उसके 280 अरब पैरामीटर वाले Gopher में, जिसने 300 अरब टोकन देखे थे। पेपर बताता है कि Chinchilla ने Gopher और GPT-3 को कई तरह के कामों में हराया, और MMLU बेंचमार्क पर 67.5 प्रतिशत हासिल किया।
मेटा ने अपना अलग फ़िट चलाया। 3.8 x 10^25 संक्रियाओं तक विस्तार करने पर 16.55 खरब टोकन पर 402 अरब पैरामीटर वाला मॉडल सुझा, और टीम 405 अरब पैरामीटर पर टिकी। सीधे भाग से यह Llama 3 405B के लिए लगभग 38 टोकन प्रति पैरामीटर बैठता है, Chinchilla के लिए 20 और GPT-3 के लिए 2 से कम।
16,000 चिपों पर क्या बिगड़ता है
प्रशिक्षण एक ही तालमेल वाला काम है, इसलिए एक GPU के ख़राब होने से सब कुछ रुक सकता है। मेटा का पेपर 405B प्रीट्रेनिंग के 54 दिनों के एक दौर में 466 काम-रुकावटें गिनता है। इनमें 47 योजनाबद्ध थीं और 419 नहीं, और बिना योजना वाली रुकावटों में से लगभग 78 प्रतिशत की जड़ पुष्ट या संदिग्ध हार्डवेयर ख़राबियाँ निकलीं। अकेली GPU की समस्याएँ 58.7 प्रतिशत थीं। केवल तीन में हाथ से दख़ल देना पड़ा, और टीम ने प्रभावी प्रशिक्षण समय 90 प्रतिशत से ऊपर बनाए रखा।
मॉडल कार्ड ऊर्जा का बिल गिनाता है। परिवार के प्रशिक्षण से स्थान-आधारित हिसाब में 11,390 टन CO2 समतुल्य निकला, जिसमें 405B मॉडल के 8,930 टन थे। बाज़ार-आधारित हिसाब में मेटा शून्य बताता है, क्योंकि उसने अपनी बिजली खपत का मिलान नवीकरणीय ऊर्जा से कराया। डेटा सेंटरों की बिजली का व्यापक सवाल IEA और बर्कले लैब के अनुमानों पर इस नज़र में है।
पोस्ट-ट्रेनिंग टेक्स्ट भाँपने वाले को सहायक बनाती है
प्रीट्रेन किया हुआ मॉडल टेक्स्ट को आगे बढ़ाता है। वह भरोसे से सवालों के जवाब नहीं देता। OpenAI के InstructGPT पेपर ने इसका इलाज तीन कदमों में रखा। ठेकेदारों ने उदाहरण जवाब लिखे, और मॉडल को उन पर सामान्य सुपरवाइज़्ड लर्निंग से फ़ाइन-ट्यून किया गया। फिर ठेकेदारों ने एक ही प्रॉम्प्ट पर मॉडल के कई जवाबों को क्रम में रखा, और एक रिवॉर्ड मॉडल को उनके क्रम की भविष्यवाणी करना सिखाया गया। अंत में भाषा मॉडल को रीइनफ़ोर्समेंट लर्निंग से ट्यून किया गया, जिसमें रिवॉर्ड मॉडल का अंक ही इनाम था।
डेटा छोटा था। परियोजना पर लगभग 40 ठेकेदारों ने काम किया, और तीनों डेटासेटों में लगभग 13,000, 33,000 और 31,000 प्रॉम्प्ट थे। रिवॉर्ड मॉडल में 6 अरब पैरामीटर थे। पेपर कंप्यूट सुपरवाइज़्ड चरण के लिए 4.9 petaflop/s-days और 175 अरब पैरामीटर वाले पूरे रीइनफ़ोर्समेंट रन के लिए 60 बताता है, जबकि GPT-3 की प्रीट्रेनिंग के लिए 3,640।
OpenAI के अपने प्रॉम्प्टों पर मूल्यांकनकर्ताओं ने 1.3 अरब पैरामीटर वाले InstructGPT का आउटपुट 175 अरब पैरामीटर वाले GPT-3 के आउटपुट से ज़्यादा पसंद किया। पूरे आकार के InstructGPT को GPT-3 के मुक़ाबले 85 प्रतिशत बार पसंद किया गया, ऊपर-नीचे 3 अंक के फ़र्क़ के साथ। TruthfulQA पर उसने सच्चे और जानकारीपूर्ण जवाब लगभग दोगुनी बार दिए। दिए गए टेक्स्ट का सार बनाने जैसे बंद-क्षेत्र कामों में गढ़ी हुई सामग्री 41 से घटकर 21 प्रतिशत रह गई, और जब मॉडल से सम्मानजनक रहने को कहा गया तो ज़हरीला आउटपुट लगभग 25 प्रतिशत कम था। पेपर एक “अलाइनमेंट टैक्स” भी दर्ज करता है, यानी SQuAD और DROP जैसे बेंचमार्कों पर छोटी गिरावट, जिसे प्रीट्रेनिंग अपडेट मिलाने से काफ़ी हद तक हटा दिया गया।
Llama 3 वही विचार इस्तेमाल करता है, पर आख़िरी कदम अलग है। मेटा ने मानवीय पसंद के डेटा पर एक रिवॉर्ड मॉडल प्रशिक्षित किया, उदाहरणों पर फ़ाइन-ट्यून किया, रिवॉर्ड मॉडल से कई नमूना जवाबों में से सबसे अच्छा चुना, और फिर छह चक्रों में Direct Preference Optimization लगाया। पेपर कहता है कि मेटा ने PPO आज़माया, वही एल्गोरिदम जो InstructGPT ने इस्तेमाल किया था, और पाया कि बड़े पैमाने पर DPO को कम कंप्यूट चाहिए। मॉडल कार्ड इस चरण को सुपरवाइज़्ड फ़ाइन-ट्यूनिंग और मानव फ़ीडबैक से रीइनफ़ोर्समेंट लर्निंग के रूप में बताता है। उसकी तालिका दिखाती है कि Llama 3.1 405B ने MMLU बेंचमार्क पर पोस्ट-ट्रेनिंग से पहले 85.2 और बाद में 87.3 अंक लिए।
सुरक्षा परीक्षण और मॉडल कार्ड
सुरक्षा ट्यूनिंग के बाद मेटा दो चीज़ें मापता है। उल्लंघन दर उन जवाबों को गिनती है जो किसी सुरक्षा नीति को तोड़ते हैं, और झूठी इनकार दर उन बेहानि अनुरोधों को जिन्हें मॉडल ग़लती से ठुकरा देता है। पेपर इन्हें जोड़ी की तरह देखता है, क्योंकि जो मॉडल सब कुछ ठुकरा दे उसकी उल्लंघन दर बिल्कुल सही होती है। रेड टीम, जो जान-बूझकर मॉडल पर हमला करती है, में साइबर सुरक्षा, प्रतिकूल मशीन लर्निंग और ज़िम्मेदार AI के विशेषज्ञ और बहुभाषी विशेषज्ञ शामिल हैं। मेटा ने Llama Guard 3 भी जारी किया, जो इनपुट और आउटपुट को छानने वाला एक अलग मॉडल है।
किसी रिलीज़ के साथ आने वाला सार दस्तावेज़ मॉडल कार्ड है, जिसका प्रारूप 2018 में मार्गरेट मिशेल और उनके सहयोगियों ने मॉडल के इच्छित उपयोग और अलग-अलग समूहों में उसके प्रदर्शन को दर्ज करने के लिए सुझाया था। Llama 3.1 कार्ड लगभग 15 खरब प्रशिक्षण टोकन, दिसंबर 2023 की ज्ञान-सीमा, 128,000 टोकन की कॉन्टेक्स्ट विंडो, ऊपर के GPU घंटे और उत्सर्जन, और मेटा द्वारा ख़ारिज किए गए उपयोग देता है।
भारतीय कंप्यूट पर बने भारतीय मॉडल
राष्ट्रीय ई-गवर्नेंस प्रभाग की 24 फ़रवरी 2026 की एक विज्ञप्ति मौजूदा राष्ट्रीय AI बुनियादी ढाँचे को 38,000 GPU पर रखती है, जिसमें 20,000 और जुड़ने हैं। 6 मार्च 2026 को सर्वम AI ने दो ओपन मॉडल जारी किए और कहा कि प्रशिक्षण पूरी तरह भारत में, इंडियाAI मिशन के तहत दिए गए कंप्यूट पर हुआ। सर्वम अपने 30 अरब पैरामीटर वाले मॉडल के लिए 16 खरब टोकन बताता है, जो प्रति टोकन 2.4 अरब पैरामीटर सक्रिय करता है, और अपने 105 अरब पैरामीटर वाले मॉडल के लिए 12 खरब। उसका टोकनाइज़र सभी 22 अनुसूचित भारतीय भाषाओं को कवर करता है। इस कार्यक्रम की चर्चा इंडियाAI मिशन की व्याख्या में और भारत की अपनी भाषाओं में AI वाले लेख में है।
सर्वम की पोस्ट प्रीट्रेनिंग के तीन चरण गिनाती है, फिर सुपरवाइज़्ड फ़ाइन-ट्यूनिंग, फिर एक असिंक्रोनस GRPO-आधारित प्रणाली पर रीइनफ़ोर्समेंट लर्निंग का चरण, जिसके रिवॉर्ड गणित, कोडिंग और टूल इस्तेमाल में जाँचे जा सकने वाले परीक्षणों और रूब्रिक-आधारित अंकन को मिलाते हैं।
स्रोत और आगे पढ़ने के लिए
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, 23 July 2024)
- Meta: Llama 3.1 model card (llama-models repository)
- Vaswani et al.: Attention Is All You Need (arXiv:1706.03762, NIPS 2017)
- Brown et al., OpenAI: Language Models are Few-Shot Learners, the GPT-3 paper (arXiv:2005.14165)
- Ouyang et al., OpenAI: Training language models to follow instructions with human feedback, the InstructGPT paper (arXiv:2203.02155, 4 March 2022)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Sennrich, Haddow and Birch: Neural Machine Translation of Rare Words with Subword Units (arXiv:1508.07909)
- Mitchell et al.: Model Cards for Model Reporting (arXiv:1810.03993, FAT* 2019)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
- National e-Governance Division: India to add 20,000 GPUs beyond existing 38,000 (24 February 2026)
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।
