मेटाने Llama 3 405B ला १५.६ ट्रिलियन टोकन आणि ३०.८४ दशलक्ष GPU तासांवर प्रशिक्षित केले, आणि OpenAI च्या मानवी मूल्यांकनकर्त्यांनी १७५ अब्ज पॅरामीटरच्या GPT-3 पेक्षा १.३ अब्ज पॅरामीटरचे ट्यून केलेले मॉडेल पसंत केले

मेटाच्या प्रमुख Llama 3 मॉडेलमध्ये ४०५ अब्ज पॅरामीटर आहेत, म्हणजे न्यूरल नेटवर्कमधील समायोजित करता येणारे आकडे, आणि ते १५.६ ट्रिलियन टोकनवरून शिकले, म्हणजे काही अक्षरांच्या लांबीचे मजकुराचे तुकडे. Llama 3.1 मॉडेल कार्ड त्या एका मॉडेलसाठी Nvidia H100 चिप्सवर ३०.८४ दशलक्ष GPU तास सांगते, आणि तीन आकारांच्या संपूर्ण कुटुंबासाठी ३९.३ दशलक्ष. २३ जुलै २०२४ च्या तारखेचा शोधनिबंध म्हणतो की ४०५B मॉडेल १६,००० पर्यंत H100 वर प्रशिक्षित झाले. (मेटाचा शोधनिबंध ३.१ मॉडेलसाठीही Llama 3 हेच नाव वापरतो, आणि हा लेखही तसेच करतो.)

मेटाचा शोधनिबंध हे काम दोन टप्प्यांत विभागतो. पूर्वप्रशिक्षणात प्रचंड प्रमाणावर पुढचा शब्द ओळखण्यातून नेटवर्कला भाषा शिकवली जाते. त्यानंतर प्रशिक्षणोत्तर टप्प्यात त्याला सूचना पाळायला आणि मानवी पसंतीशी जुळवून घ्यायला ट्यून केले जाते. हा लेख दोन्ही टप्पे क्रमाने उलगडतो, प्रयोगशाळांनी स्वतःच्या शोधनिबंधांत आणि मॉडेल कार्डांत छापलेले आकडे वापरतो, आणि प्रत्येक आकडा कुठून आला ते सांगतो.

काही शिकण्याआधी मजकूर गाळला जातो

वेबवरील कच्चा मजकूर प्रती, स्पॅम आणि निरुपयोगी मजकुराने भरलेला असतो, म्हणून प्रत्येक प्रयोगशाळा आधी तो स्वच्छ करते. OpenAI चा GPT-3 शोधनिबंध (२०२०) Common Crawl च्या, म्हणजे वेबच्या सार्वजनिक संग्रहाच्या, ४१ मासिक प्रतिमांपासून सुरू होतो, ज्या २०१६ ते २०१९ या काळाच्या आहेत. गाळण्याआधी तो ४५ टेराबाइट संकुचित मजकूर होता आणि नंतर ५७० गिगाबाइट, म्हणजे सुमारे ४०० अब्ज टोकन.

गाळणीचे दोन भाग होते. OpenAI ने आपले उच्च दर्जाचे संदर्भ संग्रह आणि कच्चा Common Crawl यांतील फरक ओळखण्यासाठी एक वर्गीकारक प्रशिक्षित केला, आणि वर्गीकारकाने जास्त गुण दिलेल्या दस्तऐवजांना प्राधान्य दिले. जवळपास सारख्या असलेल्या दस्तऐवजांनाही, डेटासेटांमध्ये सामायिक असलेल्या प्रतींसह, त्याने काढून टाकले. लेखक पुढे नमूद करतात की गाळणीतील एका त्रुटीमुळे बेंचमार्क चाचणी संचांशी काही प्रमाणात होणारी सरमिसळ सुटली, आणि ती दुरुस्त करण्यासाठी पुन्हा प्रशिक्षण देणे खूपच खर्चिक होते.

Llama 3 ची प्रक्रिया अधिक लांब आहे. तिचा शोधनिबंध वर्णन करतो की ज्या संकेतस्थळांवर वैयक्तिक माहिती किंवा प्रौढ मजकूर मोठ्या प्रमाणात असतो ती वगळली जातात, पुनरावृत्त होणाऱ्या ओळी हटवल्या जातात, ब्लॉक यादीत न सापडणाऱ्या प्रौढ संकेतस्थळांना पकडण्यासाठी ‘dirty words’ मोजले जातात, आणि दर्जा वेगवान वर्गीकारकांनी तसेच RoBERTa आधारित हळू वर्गीकारकांनी तपासला जातो. भाषा ओळखणारे साधन दस्तऐवजांची १७६ भाषांमध्ये वर्गवारी करते. एवढ्या प्रमाणावर मजकुराची नक्कल करणे कायदेशीर आहे का, याची न्यायालयात चाचणी सुरू आहे, जसे २०२६ चे तीन निकाल दाखवतात. मेटा सांगते की अंतिम मिश्रणात सुमारे ५० टक्के सामान्य ज्ञान, २५ टक्के गणित आणि तर्क, १७ टक्के कोड आणि ८ टक्के बहुभाषिक मजकूर आहे.

मजकुराचे टोकनमध्ये तुकडे करणे

नेटवर्क अक्षरे किंवा पूर्ण शब्द वाचत नाही. ते टोकन वाचते, म्हणजे ठराविक शब्दसंग्रहातले तुकडे. सेनरिच, हॅडो आणि बर्च यांनी २०१५ मध्ये दाखवले की दुर्मिळ शब्दांचे लहान उपशब्द घटकांत विभाजन केले, म्हणजे byte pair encoding नावाची पद्धत वापरली, तर भाषांतर प्रणाली तिने कधीही न पाहिलेले शब्द हाताळू शकते.

२०१७ च्या Transformer शोधनिबंधाने ही पद्धत इंग्रजी आणि जर्मनसाठी सुमारे ३७,००० टोकनच्या सामायिक शब्दसंग्रहासह वापरली. Llama 3 १,२८,००० वापरते: OpenAI च्या खुल्या tiktoken टोकनायझरमधील १,००,००० आणि इंग्रजीतर भाषांसाठी जोडलेले २८,०००. मेटा नोंदवते की मोठ्या शब्दसंग्रहामुळे इंग्रजीचे संकुचन प्रति टोकन ३.१७ वरून ३.९४ अक्षरांवर गेले, त्यामुळे तेवढ्याच प्रशिक्षण संगणनात जास्त मजकूर समाविष्ट होतो.

पूर्वप्रशिक्षण म्हणजे फार मोठ्या प्रमाणावर पुढचा शब्द ओळखणे

हे व्यवहार्य करणारी रचना म्हणजे Transformer, जी Google आणि टोरंटो विद्यापीठातील एका चमूकडून आली, ज्यात आशिष वासवानी आणि नोम शाझीर होते. ती जुनी टप्प्याटप्प्याने चालणारी पुनरावर्ती रचना सोडते आणि attention या यंत्रणेवर अवलंबून राहते, जिच्यामुळे उताऱ्यातील प्रत्येक शब्द इतर प्रत्येक शब्दाचे वजन करू शकतो. शोधनिबंधातील मोठ्या मॉडेलने आठ P100 GPU वर ३.५ दिवसांनंतर इंग्रजीतून जर्मनमध्ये २८.४ BLEU हा भाषांतर गुण गाठला. त्याच्या मूळ मॉडेलमध्ये ६५ दशलक्ष पॅरामीटर होते आणि ते १२ तास प्रशिक्षित झाले.

पूर्वप्रशिक्षणाने मग हीच कृती मोठ्या प्रमाणावर वाढवली. GPT-3 मध्ये १७५ अब्ज पॅरामीटर आहेत, ते २,०४८ टोकनची संदर्भ खिडकी वाचते आणि ते मायक्रोसॉफ्टच्या क्लस्टरवर V100 GPU वापरून ३०० अब्ज टोकनवर प्रशिक्षित झाले. InstructGPT शोधनिबंध त्याचे पूर्वप्रशिक्षण ३,६४० पेटाफ्लॉप/से-दिवस इतके सांगतो, हे एकक ८.६४ x १०^१९ फ्लोटिंग पॉइंट क्रियांएवढे आहे.

Llama 3 405B मध्ये १२६ स्तर आहेत आणि ते ३.८ x १०^२५ क्रियांसाठी पूर्वप्रशिक्षित झाले, जे मेटाच्या म्हणण्यानुसार सर्वात मोठ्या Llama 2 च्या जवळपास ५० पट आहे. प्रशिक्षण ४ दशलक्ष टोकनांच्या बॅचने सुरू झाले आणि १६ दशलक्षांपर्यंत वाढले. शेवटच्या टप्प्यात संदर्भ खिडकी सहा पायऱ्यांत ८,००० वरून १,२८,००० टोकनांपर्यंत ताणली गेली, आणि annealing नावाच्या अंतिम टप्प्यात अधिक उच्च दर्जाचा डेटा वापरला गेला.

दिलेल्या आकाराच्या मॉडेलने किती टोकन पाहावेत

ठराविक संगणन अर्थसंकल्प असलेल्या प्रयोगशाळेला तो मोठे मॉडेल आणि अधिक मजकूर यांच्यात विभागावा लागतो. DeepMind च्या मार्च २०२२ मधील Chinchilla शोधनिबंधाने ७० दशलक्ष ते १६ अब्जांहून जास्त पॅरामीटरची ४०० हून अधिक मॉडेल ५ ते ५०० अब्ज टोकनवर प्रशिक्षित केली. त्याचा निष्कर्ष असा होता की मॉडेलचा आकार आणि प्रशिक्षण टोकन एकत्र वाढले पाहिजेत, म्हणजे एकाचा प्रत्येक दुप्पट होणे दुसऱ्याच्या दुप्पट होण्याशी जुळले पाहिजे.

DeepMind ने हे Chinchilla वर तपासले, हे ७० अब्ज पॅरामीटरचे मॉडेल १.४ ट्रिलियन टोकनवर प्रशिक्षित झाले आणि त्याने २८० अब्ज पॅरामीटरच्या Gopher इतकेच संगणन वापरले, तर Gopher ने ३०० अब्ज टोकन पाहिले होते. शोधनिबंध नोंदवतो की Chinchilla ने अनेक प्रकारच्या कामांमध्ये Gopher आणि GPT-3 ला मागे टाकले, आणि MMLU बेंचमार्कवर ६७.५ टक्के मिळवले.

मेटाने स्वतःची मांडणी केली. ३.८ x १०^२५ क्रियांपर्यंत विस्तार केल्यावर १६.५५ ट्रिलियन टोकनवर ४०२ अब्ज पॅरामीटरचे मॉडेल सुचले, आणि चमूने ४०५ अब्ज पॅरामीटरवर निर्णय घेतला. साध्या भागाकाराने, हे Llama 3 405B साठी प्रति पॅरामीटर सुमारे ३८ टोकन, Chinchilla साठी २० आणि GPT-3 साठी २ पेक्षा कमी येते.

१६,००० चिप्सवर काय बिघडते

प्रशिक्षण हे एकच समक्रमित काम असते, म्हणून एक GPU बंद पडला तरी सगळे थांबू शकते. मेटाचा शोधनिबंध ४०५B पूर्वप्रशिक्षणाच्या ५४ दिवसांच्या कालावधीत ४६६ कामातील व्यत्यय मोजतो. त्यातील ४७ नियोजित होते आणि ४१९ नियोजित नव्हते, आणि नियोजित नसलेल्यांपैकी सुमारे ७८ टक्क्यांचे मूळ पुष्टी झालेल्या किंवा संशयित हार्डवेअर बिघाडांत होते. एकट्या GPU समस्या ५८.७ टक्के होत्या. फक्त तीन वेळा हाताने हस्तक्षेप करावा लागला, आणि चमूने प्रत्यक्ष प्रशिक्षण वेळ ९० टक्क्यांपेक्षा वर ठेवला.

मॉडेल कार्ड ऊर्जेचे देयक नोंदवते. कुटुंबाच्या प्रशिक्षणातून स्थानाधारित हिशेबानुसार ११,३९० टन CO2 समतुल्य उत्सर्जन झाले, त्यातील ८,९३० टन ४०५B मॉडेलचे. बाजाराधारित आधारावर मेटा शून्य नोंदवते, कारण तिने आपल्या विजेचा वापर नवीकरणीय ऊर्जेशी जुळवला. डेटा सेंटरच्या विजेचा व्यापक प्रश्न IEA आणि बर्कले लॅबच्या अंदाजांवरील या आढाव्यात आहे.

प्रशिक्षणोत्तर टप्पा मजकूर ओळखणाऱ्या यंत्राचा सहाय्यक बनवतो

पूर्वप्रशिक्षित मॉडेल मजकूर पुढे चालू ठेवते. ते प्रश्नांना विश्वासार्हपणे उत्तर देत नाही. OpenAI च्या InstructGPT शोधनिबंधाने यावरचा उपाय तीन पायऱ्यांत मांडला. कंत्राटी कर्मचाऱ्यांनी उदाहरणादाखल उत्तरे लिहिली, आणि मॉडेल त्यांवर नेहमीच्या पर्यवेक्षित शिक्षणाने फाइन-ट्यून केले गेले. मग कंत्राटी कर्मचाऱ्यांनी एकाच प्रॉम्प्टची अनेक मॉडेल उत्तरे क्रमवारीने लावली, आणि त्यांच्या क्रमवारीचा अंदाज बांधण्यासाठी एक रिवॉर्ड मॉडेल प्रशिक्षित केले गेले. शेवटी रिवॉर्ड मॉडेलचा गुण बक्षीस म्हणून वापरून भाषा मॉडेल reinforcement learning ने ट्यून केले गेले.

डेटा लहान होता. प्रकल्पावर सुमारे ४० कंत्राटी कर्मचारी काम करत होते, आणि तीन डेटासेटमध्ये सुमारे १३,०००, ३३,००० आणि ३१,००० प्रॉम्प्ट होते. रिवॉर्ड मॉडेलमध्ये ६ अब्ज पॅरामीटर होते. शोधनिबंध संगणन पर्यवेक्षित टप्प्यासाठी ४.९ पेटाफ्लॉप/से-दिवस आणि १७५ अब्ज पॅरामीटरच्या पूर्ण reinforcement फेरीसाठी ६० सांगतो, तर GPT-3 च्या पूर्वप्रशिक्षणासाठी ३,६४०.

OpenAI च्या स्वतःच्या प्रॉम्प्टवर, मूल्यांकनकर्त्यांनी १७५ अब्ज पॅरामीटरच्या GPT-3 पेक्षा १.३ अब्ज पॅरामीटरच्या InstructGPT चे उत्तर पसंत केले. पूर्ण आकाराचे InstructGPT ८५ टक्के वेळा GPT-3 पेक्षा पसंत केले गेले, ३ गुणांच्या कमीजास्तपणासह. TruthfulQA वर त्याने सत्य आणि माहितीपूर्ण उत्तरे सुमारे दुप्पट वेळा दिली. दिलेल्या मजकुराचा सारांश देण्यासारख्या बंदिस्त क्षेत्रातील कामांमध्ये, मनाने रचलेला मजकूर ४१ वरून २१ टक्क्यांवर आला, आणि मॉडेलला आदरपूर्वक वागण्यास सांगितल्यावर विषारी मजकूर सुमारे २५ टक्के कमी झाला. शोधनिबंध ‘alignment tax’ असाही नोंदवतो, म्हणजे SQuAD आणि DROP सारख्या बेंचमार्कवरील लहान घसरण, जी पूर्वप्रशिक्षणाचे अद्यतन मिसळल्याने मोठ्या प्रमाणात दूर झाली.

Llama 3 तीच कल्पना वापरते, पण शेवटची पायरी वेगळी. मेटाने मानवी पसंतीच्या डेटावर रिवॉर्ड मॉडेल प्रशिक्षित केले, उदाहरणांवर फाइन-ट्यून केले, रिवॉर्ड मॉडेलने नमुना घेतलेल्या अनेक उत्तरांतून सर्वोत्तम निवडले, आणि मग सहा फेऱ्यांत Direct Preference Optimization लागू केले. शोधनिबंध म्हणतो की मेटाने PPO वापरून पाहिला, InstructGPT ने वापरलेला अल्गोरिदम, आणि मोठ्या प्रमाणावर DPO ला कमी संगणन लागते असे आढळले. मॉडेल कार्ड हा टप्पा पर्यवेक्षित फाइन-ट्यूनिंग आणि मानवी अभिप्रायातून reinforcement learning असा सारांशित करते. त्याचा तक्ता दाखवतो की Llama 3.1 405B ने MMLU बेंचमार्कवर प्रशिक्षणोत्तर टप्प्याआधी ८५.२ आणि नंतर ८७.३ गुण मिळवले.

सुरक्षा चाचण्या आणि मॉडेल कार्ड

सुरक्षा ट्यूनिंगनंतर मेटा दोन गोष्टी मोजते. उल्लंघन दर म्हणजे सुरक्षा धोरण मोडणारी उत्तरे मोजतो, आणि चुकीचा नकार दर म्हणजे मॉडेलने चुकीने नाकारलेल्या निरुपद्रवी विनंत्या मोजतो. शोधनिबंध त्यांना जोडीने हाताळतो, कारण सर्वकाही नाकारणाऱ्या मॉडेलचा उल्लंघन दर परिपूर्ण असतो. रेड टीम, जी मुद्दाम मॉडेलवर हल्ला करते, तीत सायबरसुरक्षा, विरोधी मशीन लर्निंग आणि जबाबदार AI मधील तज्ज्ञ आणि बहुभाषिक तज्ज्ञ आहेत. मेटाने Llama Guard 3 देखील प्रसिद्ध केले, हे इनपुट आणि आउटपुट तपासणारे वेगळे मॉडेल आहे.

प्रकाशनासोबत येणारा सारांश दस्तऐवज म्हणजे मॉडेल कार्ड, मार्गारेट मिचेल आणि सहकाऱ्यांनी २०१८ मध्ये सुचवलेला हा नमुना मॉडेलचे उद्दिष्ट वापर आणि विविध गटांमध्ये त्याची कामगिरी कशी आहे हे नोंदवण्यासाठी आहे. Llama 3.1 कार्डमध्ये सुमारे १५ ट्रिलियन प्रशिक्षण टोकन, डिसेंबर २०२३ ही ज्ञानमर्यादा, १,२८,००० टोकनची संदर्भ खिडकी, वर दिलेले GPU तास आणि उत्सर्जन, आणि मेटाने नाकारलेले वापर दिले आहेत.

भारतीय संगणनावर बांधलेली भारतीय मॉडेल

राष्ट्रीय ई-गव्हर्नन्स विभागाचे २४ फेब्रुवारी २०२६ चे प्रसिद्धीपत्रक विद्यमान राष्ट्रीय AI पायाभूत सुविधा ३८,००० GPU इतकी सांगते, आणि आणखी २०,००० जोडले जाणार आहेत. ६ मार्च २०२६ रोजी सर्वम AI ने दोन खुली मॉडेल प्रसिद्ध केली आणि सांगितले की प्रशिक्षण पूर्णपणे भारतात, इंडियाAI मिशनअंतर्गत दिलेल्या संगणनावर झाले. सर्वम आपल्या ३० अब्ज पॅरामीटरच्या मॉडेलसाठी १६ ट्रिलियन टोकन नोंदवते, जे प्रति टोकन २.४ अब्ज पॅरामीटर सक्रिय करते, आणि १०५ अब्ज पॅरामीटरच्या मॉडेलसाठी १२ ट्रिलियन. तिचे टोकनायझर सर्व २२ अनुसूचित भारतीय भाषा समाविष्ट करते. हा कार्यक्रम इंडियाAI मिशन स्पष्टीकरणात आणि भारताच्या स्वतःच्या भाषांतील AI वरील लेखात मांडला आहे.

सर्वमची पोस्ट पूर्वप्रशिक्षणाचे तीन टप्पे, मग पर्यवेक्षित फाइन-ट्यूनिंग, मग असिंक्रोनस GRPO आधारित प्रणालीवर reinforcement learning चा टप्पा सांगते, ज्यात बक्षिसे पडताळता येणाऱ्या तपासण्या आणि गणित, कोडिंग व साधन वापरातील रुब्रिक आधारित गुणदान यांचे मिश्रण आहेत.