Skip to content
Google च्या आठ लेखकांनी १२ जून २०१७ रोजी Transformer शोधनिबंध प्रसिद्ध केला, आणि त्यातील मोठ्या मॉडेलने आठ GPU वर ३.५ दिवस प्रशिक्षणानंतर इंग्रजी ते जर्मन भाषांतरात २८.४ BLEU गुण मिळवले
एआय आणि तंत्रज्ञान

Google च्या आठ लेखकांनी १२ जून २०१७ रोजी Transformer शोधनिबंध प्रसिद्ध केला, आणि त्यातील मोठ्या मॉडेलने आठ GPU वर ३.५ दिवस प्रशिक्षणानंतर इंग्रजी ते जर्मन भाषांतरात २८.४ BLEU गुण मिळवले

चित्रण: tuput

मराठी

२०१७ च्या शोधनिबंधाने शब्द एकामागून एक वाचण्याची पद्धत सोडली आणि वाक्यातील प्रत्येक शब्दाला इतर प्रत्येक शब्दाकडे एकाच वेळी पाहू दिले. त्याच्या मोठ्या मॉडेलने इंग्रजी ते जर्मनमधील आधीचे सर्वोत्तम निकाल २ पेक्षा जास्त BLEU ने मागे टाकले, आणि Llama 3, Gemini 1.0, DeepSeek-V3 आणि Sarvam 105B यांचे निर्माते त्यांना Transformer असेच वर्णन करतात.

· · 9 मिनिटांचे वाचन

१२ जून २०१७ रोजी आठ संशोधकांनी “Attention Is All You Need” नावाचा शोधनिबंध arXiv या प्रीप्रिंट सर्व्हरवर टाकला. त्यात Transformer चे वर्णन होते, म्हणजे त्याच्या सारांशाच्या शब्दांत, “पूर्णपणे attention यंत्रणांवर आधारित, पुनरावृत्ती आणि convolution पूर्णपणे सोडून दिलेले” जाळे. शोधनिबंधातील मोठ्या मॉडेलने WMT 2014 च्या इंग्रजी ते जर्मन चाचणीत २८.४ BLEU गुण मिळवले; BLEU हा भाषांतराचा प्रमाण गुण आहे आणि तो जितका जास्त तितके चांगले. सारांश सांगतो की त्याने आधीचे सर्वोत्तम निकाल, ensemble धरूनही, २ पेक्षा जास्त BLEU ने मागे टाकले, आणि विभाग ६.१ सांगतो की प्रशिक्षणाला आठ Nvidia P100 GPU वर ३.५ दिवस लागले.

लेखक होते आशिष वासवानी, नोम शाझीर, निकी पारमार, जाकोब उझ्कोरेइट, लिओन जोन्स, एडन गोमेझ, लुकाश कैसर आणि इलिया पोलोसुखिन, ज्यांची नावे Google Brain, Google Research आणि टोरंटो विद्यापीठाखाली दिली आहेत. शोधनिबंधात एक तळटीप आहे, जी सांगते की नावांचा क्रम यादृच्छिक आहे आणि आठही जणांनी समान योगदान दिले. २०१७ मध्ये कॅलिफोर्नियातील लाँग बीच येथे तेव्हा NIPS म्हणून ओळखल्या जाणाऱ्या Conference on Neural Information Processing Systems मध्ये तो सादर झाला (कार्यवाही पानावर तो खंड ३० मध्ये नोंदलेला आहे). रचना निवडल्यानंतर काय होते, ते मोठे भाषा मॉडेल कसे प्रशिक्षित होते या लेखात आहे. हा लेख रचनेबद्दल आहे.

एका वेळी एक शब्द वाचणे अडथळा का होते

२०१७ पूर्वी आघाडीच्या भाषांतर प्रणाली पुनरावर्ती न्यूरल नेटवर्क वापरत. शोधनिबंध त्यांची कार्यपद्धती सांगतो: पुनरावर्ती जाळे शब्द क्रमाने पार करते आणि प्रत्येक जागी चालू सारांश तयार करते, जो आधीच्या सारांशावरून आणि चालू शब्दावरून काढला जातो. प्रत्येक पायरीला आधीची पायरी लागत असल्याने, शोधनिबंधानुसार, ही रचना “प्रशिक्षणाच्या एकाच उदाहरणात समांतर प्रक्रिया शक्य होऊ देत नाही”. एका वाक्याच्या पायऱ्या समांतर चालवता येत नव्हत्या.

जाकोब उझ्कोरेइट यांची Google ची ३१ ऑगस्ट २०१७ ची ब्लॉग पोस्ट एक ठोस प्रसंग देते. “I arrived at the bank after crossing the…” मधील “bank” म्हणजे नदीकाठ की सावकार, हे ठरवण्यासाठी जाळ्याला वाक्यातील शेवटचा शब्द लागतो, “river” किंवा “road”. पुनरावर्ती जाळे, पोस्ट सांगते, “bank” आणि “river” यांच्यातील प्रत्येक शब्द पायरीपायरीने वाचल्यानंतरच ते ठरवू शकते, आणि निर्णयाला जितक्या जास्त पायऱ्या लागतात तितके ते जाळ्याला शिकणे अवघड जाते. पोस्ट पुढे म्हणते की प्रशिक्षणासाठी वापरल्या जाणाऱ्या GPU आणि TPU या चिप्स समांतर कामात चांगल्या आणि क्रमवार कामात कमकुवत असतात.

Convolution जाळी, दुसरी मुख्य रचना, कमी क्रमवार असतात. शोधनिबंध नमूद करतो की ByteNet आणि ConvS2S या मॉडेलांत दोन दूरच्या शब्दांना जोडण्यासाठी लागणाऱ्या पायऱ्यांची संख्या अजूनही त्यांच्यातील अंतराबरोबर वाढते, ConvS2S मध्ये रेषीय पद्धतीने आणि ByteNet मध्ये लघुगणकीय पद्धतीने.

Attention Transformer आधीपासून अस्तित्वात होते

Attention ची कल्पना आधी आली आणि ती पुनरावर्ती जाळ्यांत जोडली गेली. १ सप्टेंबर २०१४ रोजी झ्मित्री बहदानौ, क्युंगह्युन चो आणि योशुआ बेंगियो यांनी एक शोधनिबंध सादर केला, जो नंतर ICLR 2015 मध्ये मौखिक सादरीकरण झाला, आणि त्याने त्या वेळच्या रचनेच्या एका कमतरतेला हात घातला. नेहमीची encoder-decoder रचना decoder भाषांतर सुरू करण्याआधी संपूर्ण स्रोत वाक्य एका निश्चित लांबीच्या vector मध्ये दाबून बसवत असे. हा अडथळा असल्याचे लेखकांनी अनुमान केले, आणि मॉडेलला प्रत्येक शब्द लिहिताना स्रोत वाक्यात त्या शब्दाशी संबंधित जागा “soft-search” करू दिल्या. इंग्रजी ते फ्रेंचमध्ये त्या वेळच्या सर्वोत्तम phrase-based प्रणालीशी तुलनेची भाषांतर गुणवत्ता त्यांनी नोंदवली.

एका वर्षानंतर स्टॅनफर्डमधील मिन्ह-थांग लुओंग, ह्येउ फाम आणि क्रिस्टोफर मॅनिंग यांनी इंग्रजी-जर्मन भाषांतरावर दोन प्रकारच्या attention ची चाचणी केली. त्यांचा सारांश attention नसलेल्या तुलनेच्या प्रणालींपेक्षा ५.० BLEU ची वाढ सांगतो, आणि एकत्रित मॉडेलने WMT 2015 च्या इंग्रजी ते जर्मन कामात २५.९ BLEU मिळवले.

Transformer शोधनिबंध तोपर्यंत attention कसे वापरले जात होते ते सांगतो: “काही अपवाद वगळता सर्व बाबतीत” ते पुनरावर्ती जाळ्याच्या बरोबरीने असे. आठ लेखकांनी मांडले की attention ठेवावे आणि पुनरावर्ती भाग काढून टाकावा. शोधनिबंधाच्या योगदान तळटीपेत पुनरावर्ती जाळ्यांच्या जागी self-attention ठेवण्याचा प्रस्ताव मांडल्याचे श्रेय उझ्कोरेइट यांना दिले आहे.

एक शब्द उरलेल्या वाक्याकडे कसा पाहतो

Self-attention म्हणजे एकाच वाक्यात लावलेले attention. Google ची ब्लॉग पोस्ट तेच “bank” चे उदाहरण घेऊन ते समजावते. “bank” चे चांगले प्रतिनिधित्व काढण्यासाठी Transformer त्या शब्दाची वाक्यातील प्रत्येक इतर शब्दाशी तुलना करतो. प्रत्येक तुलना एक attention गुण देते. ते गुण ठरवतात की प्रत्येक इतर शब्द किती योगदान देईल, त्यामुळे “river” ला उच्च गुण मिळू शकतो. मग मॉडेल सर्व शब्दांच्या प्रतिनिधित्वांची भारित सरासरी घेते आणि नवे प्रतिनिधित्व तयार करण्यासाठी ती एका छोट्या feed-forward जाळ्यातून पाठवते. प्रत्येक शब्द इतर प्रत्येक शब्द थेट पाहू शकत असल्याने, पोस्ट सांगते, मॉडेल “river” वर लक्ष देऊन निर्णय एकाच पायरीत घेऊ शकते.

शोधनिबंध तुलनेच्या भागांना नावे देतो. Attention function एक query आणि key-value जोड्यांचा संच यांना एका आउटपुटशी जोडते, आणि आउटपुट म्हणजे values ची भारित बेरीज. प्रत्येक value वरील भार query ची त्या value च्या key शी तुलना करून येतो. याकडे असे पाहता येते की प्रत्येक शब्द एक प्रश्न विचारतो (query), वाक्यातील प्रत्येक शब्द एक लेबल (key) आणि काही मजकूर (value) देतो, आणि सर्वोत्तम जुळणारी लेबले सर्वात जास्त मजकूर देतात. शोधनिबंधाची आवृत्ती query ला keys ने गुणते, key च्या आकाराच्या वर्गमुळाने भागते, आणि निकालांना बेरीज एक होईल अशा भारांत बदलते.

या भागाकाराला कारण आहे, जे लेखक संशय म्हणून मांडतात: key मोठ्या असताना गुणाकार मोठे होतात, ज्यामुळे भार देणारे function अशा भागात जाते जिथे ते खूप हळू शिकते. Decoder, जो भाषांतर एका वेळी एक शब्द लिहितो, पुढच्या जागाही स्वतःपासून लपवतो, जेणेकरून अंदाज केवळ आधीच ज्ञात असलेल्या शब्दांवर अवलंबून राहील.

Google ची पोस्ट दुसरे उदाहरण देते, वाक्यांची एक जोडी ज्यात “it” एका वाक्यात प्राण्याकडे आणि दुसऱ्यात रस्त्याकडे निर्देश करतो. फ्रेंचमध्ये भाषांतर नामाच्या लिंगावर अवलंबून असते, आणि पोस्ट म्हणते की तिथे “animal” आणि “street” यांचे लिंग वेगळे आहे. Google च्या वर्णनानुसार Transformer ने दोन्ही वाक्ये बरोबर भाषांतरित केली, जिथे तेव्हा वापरात असलेल्या Google Translate मॉडेलने केली नव्हती, आणि एका attention head च्या आलेखाने संदर्भानुसार प्रत्येक नामाकडे दिले जाणारे attention बदलत असल्याचे दाखवले. हे Google चेच एका वाक्यजोडीवरील प्रात्यक्षिक आहे, स्वतंत्र चाचणी नाही.

आठ head आणि शब्दक्रमाची युक्ती

सर्व शब्दांची एकच सरासरी केल्याने तपशील जातो, म्हणून शोधनिबंध अनेक attention क्रिया शेजारीशेजारी चालवतो, ज्याला तो multi-head attention म्हणतो. मूळ मॉडेल आठ head वापरते. प्रत्येक ५१२ संख्यांच्या प्रतिनिधित्वाच्या ६४ संख्यांच्या तुकड्यावर काम करतो, आणि निकाल शेवटी जोडले जातात, त्यामुळे एकूण खर्च पूर्ण रुंदीवर काम करणाऱ्या एका head च्या खर्चाच्या जवळ राहतो.

शोधनिबंधातील तक्ता ३ ही निवड development संचावर तपासतो (२०१४ ऐवजी २०१३ चा news चाचणी संच). एका head ने सर्वोत्तम सेटिंगपेक्षा ०.९ BLEU कमी गुण मिळवले, आणि head खूप जास्त असतानाही गुणवत्ता घसरली. Self-attention च्या चर्चेत लेखक पुढे म्हणतात की वेगवेगळे head वेगळी कामे शिकत असल्याचे दिसते आणि अनेक head वाक्यांच्या व्याकरणाशी आणि अर्थाशी संबंधित असल्याचे दिसते. हे attention आलेख पाहून केलेले निरीक्षण आहे, सिद्धता नाही.

पुनरावृत्ती नसलेल्या जाळ्याला शब्दक्रमाची जाणीव नसते, कारण सर्व शब्द एकत्र पाहिले जातात. लेखकांनी हे सोडवले ते प्रत्येक शब्दाच्या प्रतिनिधित्वात वेगवेगळ्या तरंगलांबीच्या sine आणि cosine लहरी वापरून स्थानाची माहिती जोडून. त्यांनी स्थाने शिकवून पाहण्याचाही प्रयत्न केला, आणि दोन्ही आवृत्त्यांनी जवळजवळ सारखे निकाल दिले: मूळ मॉडेलसाठी development संचावर २५.७ BLEU विरुद्ध २५.८. त्यांनी sine आवृत्ती ठेवली कारण प्रशिक्षणात पाहिलेल्या कोणत्याही वाक्यापेक्षा लांब वाक्ये ती हाताळू शकेल.

हा २०१७ च्या रचनेतील एक भाग आहे जो नंतरच्या मॉडेलांनी बदलला. Sarvam ची मार्च २०२६ ची ब्लॉग पोस्ट आपल्या मॉडेलांच्या वैशिष्ट्यांत rotary positional embeddings ची नोंद करते, आणि मेटाचा Llama 3 शोधनिबंध सांगतो की कंपनीने अधिक लांब संदर्भांसाठी आपल्या rotary embeddings ची base frequency ५,००,००० पर्यंत वाढवली.

तो वेगाने का प्रशिक्षित झाला

शोधनिबंधातील तक्ता १ स्तरांच्या प्रकारांची तुलना करतो. Self-attention स्तर कोणत्याही दोन जागा स्थिर संख्येच्या क्रमवार क्रियांत जोडतो, तर पुनरावर्ती स्तराला वाक्याच्या लांबीबरोबर वाढणारी संख्या लागते. शोधनिबंधाचे मूळ मॉडेल आठ Nvidia P100 GPU असलेल्या एका यंत्रावर १,००,००० पायऱ्या, सुमारे १२ तास, प्रशिक्षित झाले. मोठ्या मॉडेलला ३,००,००० पायऱ्या, ३.५ दिवस लागले. Google चा ब्लॉग सांगतो की प्रशिक्षण दहा पटीपर्यंत वेगाने झाले, जो Google चा स्वतःच्या प्रयोगांवरील दावा आहे.

नंतरच्या मानकांनुसार मॉडेल लहान होते. तक्ता ३ मध्ये मूळ मॉडेलसाठी ६५ दशलक्ष पॅरामीटर नोंदलेले आहेत, म्हणजे जाळ्यातील समायोज्य संख्या, आणि मोठ्यासाठी २१३ दशलक्ष. सात वर्षांनी वर्णन केलेल्या मेटाच्या Llama 3 च्या मुख्य मॉडेलमध्ये ४०५ अब्ज आहेत, म्हणजे सुमारे १,९०० पट.

Self-attention ची स्वतःची किंमत आहे. प्रत्येक शब्दाची इतर प्रत्येक शब्दाशी तुलना केल्याने प्रति स्तर कामाचे प्रमाण वाक्याच्या लांबीच्या वर्गाने वाढते, आणि शोधनिबंध सांगतो की वाक्य प्रतिनिधित्वाच्या रुंदीपेक्षा लहान असतानाच self-attention पुनरावर्ती स्तरापेक्षा स्वस्त असते. खूप लांब इनपुटसाठी attention जवळच्या शब्दांच्या परिसरापुरते मर्यादित ठेवावे, असे लेखकांनी भविष्यातील कामाच्या रूपात सुचवले. मेटाचा शोधनिबंध लांब मजकुरांवर उशिरा प्रशिक्षण देण्याचे तेच कारण देतो: self-attention चे संगणन क्रमाच्या लांबीबरोबर वर्गाने वाढते, म्हणून Llama 3 ने आपली १,२८,००० टोकनची संदर्भ मर्यादा पूर्वप्रशिक्षणाच्या शेवटच्या टप्प्यांत गाठली.

आकडे, आणि जो वेगळा आहे तो

शोधनिबंधाचे मुख्य निकाल WMT 2014 भाषांतर कार्यातील newstest2014 संचांवर आहेत. इंग्रजी ते जर्मनसाठी तक्ता २ मध्ये मोठे मॉडेल २८.४ BLEU वर आहे, तर आधीची सर्वोत्तम नोंद, ConvS2S मॉडेलांचा ensemble, २६.३६ वर. इंग्रजी ते फ्रेंचसाठी सारांश आणि तक्ता २ एका मॉडेलसाठी ४१.८ BLEU देतात, तर त्याच शोधनिबंधातील विभाग ६.१ मधील एक वाक्य ४१.० सांगते. तक्ता आणि सारांश एकमेकांशी जुळतात, आणि मजकूर वेगळा आहे, म्हणून हा आकडा येथे सारांशात आहे तसा दिला आहे, आणि तफावत नोंदवली आहे.

लेखकांनी मॉडेल एका वेगळ्या कामावरही तपासले, इंग्रजी constituency parsing, जे वाक्याच्या व्याकरणिक रचनेला नावे देते. चार स्तरांच्या Transformer ने केवळ Wall Street Journal च्या डेटावर प्रशिक्षित झाल्यावर ९१.३ F1 आणि अतिरिक्त अर्ध-पर्यवेक्षित डेटासह ९२.७ गुण मिळवले. शोधनिबंध सांगतो की याने आधी नोंदवलेल्या सर्व मॉडेलांना मागे टाकले, एक वगळता, Recurrent Neural Network Grammar. Google ची पोस्ट म्हणते की त्याच जाळ्याने, थोड्याच बदलांसह, आधीच्या पद्धतींपैकी एक वगळता सर्वांना मागे टाकले.

निकाल लेखकांचेच आहेत, प्रसिद्ध आकड्यांशी तुलना करून मोजलेले. शोधनिबंधाचा कोड tensor2tensor लायब्ररीत प्रसिद्ध झाला, आणि Harvard NLP चे Annotated Transformer मॉडेलचे धावणाऱ्या नोटबुकच्या रूपात ओळीओळीने पुनर्रचन करते.

Llama, Gemini, DeepSeek आणि Sarvam मध्ये काय टिकले आणि काय बदलले

शोधनिबंधाच्या निष्कर्षात म्हटले आहे की लेखकांनी Transformer ला मजकुराच्या पलीकडे, प्रतिमा, ध्वनी आणि व्हिडिओपर्यंत नेण्याची योजना आखली होती. Google च्या २०१७ च्या पोस्टने सांगितले की ते काम आधीच सुरू झाले होते. ऑक्टोबर २०१८ पर्यंत Google च्या BERT शोधनिबंधाने आपल्या मॉडेलला बहुस्तरीय द्विदिशात्मक Transformer encoder म्हटले, आणि OpenAI च्या GPT चे वर्णन डावीकडून उजवीकडे चालणारा Transformer असे केले, ज्यात प्रत्येक टोकन फक्त आधीच्या टोकनकडे पाहतो. Hugging Face कोर्स नंतर आलेल्या मॉडेलांना GPT-सारखी, BERT-सारखी आणि sequence-to-sequence अशा कुळांत गटवतो.

आजच्या मोठ्या मॉडेलांचे निर्माते आपल्या कामाचे वर्णन त्याच शब्दांत करतात. मेटाचा शोधनिबंध म्हणतो की Llama 3 “मानक, dense Transformer रचना वापरतो” आणि त्याचे फायदे मुख्यतः डेटाची गुणवत्ता, वैविध्य आणि प्रमाण यांतून येतात. मेटाने प्रशिक्षणाच्या स्थिरतेसाठी mixture of experts ऐवजी dense मॉडेल निवडले. त्याच्या लहान बदलांत ८ key-value head सह grouped query attention आहे, ज्यामुळे मॉडेल लिहीत असताना ठेवत असलेली स्मृती कमी होते. Google चा Gemini अहवाल सांगतो की Gemini मॉडेल “Transformer decoder च्या वर उभी राहतात”, स्थिर प्रशिक्षणासाठी आणि Google च्या TPU चिप्ससाठी सुधारणांसह, आणि त्यांत multi-query attention चे नाव घेतो.

DeepSeek चा V3 अहवाल सांगतो की त्याची मूलभूत रचना Transformer चौकटीतच राहते, multi-head latent attention सह, ज्याचे वर्णन Sarvam स्मृतीचा वापर कमी करणारे attention चे संकुचित रूप असे करते, आणि mixture-of-experts feed-forward स्तरासह. मॉडेलमध्ये एकूण ६७१ अब्ज पॅरामीटर आहेत, ज्यापैकी प्रत्येक टोकनसाठी ३७ अब्ज वापरले जातात. Sarvam AI आपल्या ३० अब्ज आणि १०५ अब्ज पॅरामीटरच्या मॉडेलांचे वर्णन १२८ experts असलेला mixture-of-experts Transformer गाभा असे करते. ३०B grouped query attention वापरते आणि १०५B multi-head latent attention वापरते. Sarvam म्हणते की दोन्ही भारतात इंडियाAI मिशनखाली दिलेल्या संगणन क्षमतेवर प्रशिक्षित झाली आणि Apache 2.0 परवान्याखाली प्रसिद्ध झाली, जसे इंडियाAI मिशन लेखात आणि भारत स्वतःच्या भाषांत AI कसे बांधतो आहे या लेखात आले आहे. Transformer ज्या कामासाठी बांधला गेला, ते भाषांतर, हाच भाषिणी आणि AI4Bharat लेख याचाही विषय आहे, जो २२ अनुसूचित भारतीय भाषांसाठी खुल्या भाषांतर मॉडेलांचा आढावा घेतो.

या प्रत्येकात २०१७ चा self-attention स्तर अजूनही गाभा आहे, आणि बदल हे आहेत: key आणि value कशी साठवली जातात, स्थाने कशी कोड केली जातात, आणि एकाच feed-forward स्तराच्या जागी काय येते. २०१७ च्या मोठ्या मॉडेलमध्ये ६ स्तर आणि १६ head होते; मेटाचा शोधनिबंध Llama 3 405B ला १२६ स्तर आणि १२८ attention head देतो.

Share
Copied!

स्रोत आणि पुढील वाचन

  1. Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
  2. Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
  3. NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
  4. Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
  5. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
  6. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
  7. Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
  8. Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
  9. Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
  10. Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
  11. DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
  12. Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
  13. Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
  14. Hugging Face LLM Course: How do Transformers work?

हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.

#transformer#attention is all you need#self-attention#neural machine translation#large language models#google research#sarvam ai#deep learning

आवडलं? पुढचा लेख मिळवा.

एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.

याच विभागात आणखी: एआय आणि तंत्रज्ञान
OpenAI च्या २०२० च्या स्केलिंग नियम शोधनिबंधाला आढळले की मॉडेलचा लॉस सात पेक्षा जास्त दशकांमध्ये पॉवर लॉनुसार घटतो, आणि DeepMind च्या २०२२ च्या Chinchilla शोधनिबंधाने दाखवले की त्याच संगणन क्षमतेवर ७० अब्ज पॅरामीटरचे मॉडेल २८० अब्जाच्या मॉडेलला हरवू शकते
मॉडेलचा आकार, त्याचा प्रशिक्षण मजकूर आणि त्याचे संगणन बिल एकमेकांशी बदलता येतात. प्रत्येक शोधनिबंधाने काय मोजले, प्रत्येकाने कोणते आकडे छापले, एक पुनरावृत्तीचा प्रयत्न, आणि हे नियम किती दूरपर्यंत लागू होतात याबद्दल २०२६ चा सुरक्षा अहवाल काय म्हणतो.
मेटाने Llama 3 405B ला १५.६ ट्रिलियन टोकन आणि ३०.८४ दशलक्ष GPU तासांवर प्रशिक्षित केले, आणि OpenAI च्या मानवी मूल्यांकनकर्त्यांनी १७५ अब्ज पॅरामीटरच्या GPT-3 पेक्षा १.३ अब्ज पॅरामीटरचे ट्यून केलेले मॉडेल पसंत केले
पाच शोधनिबंध आणि एक मॉडेल कार्ड चॅटबॉटमागचे मॉडेल बांधण्याचा प्रत्येक टप्पा मांडतात. हे टप्पे क्रमाने, आणि प्रयोगशाळांनी स्वतः प्रसिद्ध केलेले पॅरामीटर, टोकन, GPU तास आणि चाचणी निकाल.
सर्वमचे १०५ अब्ज पॅरामीटरचे मॉडेल प्रत्येक टोकनसाठी त्यांपैकी १०.३ अब्जांनी गणन करते, १९९१ च्या शोधनिबंधापासून Mixtral आणि डीपसीकपर्यंत पोहोचलेल्या मिक्स्चर-ऑफ-एक्स्पर्ट्स रचनेचा वापर करून
एक छोटा राउटर प्रत्येक शब्द १२८ उप-नेटवर्कांपैकी काहींकडे पाठवतो, त्यामुळे कोणत्याही एका शब्दासाठी मॉडेलचा बहुतेक भाग निष्क्रिय राहतो. ही रचना कुठून आली, Mixtral, डीपसीक आणि सर्वम ती कशी वापरतात, आणि ती काय वाचवत नाही, ते इथे.
← सर्व लेख