வரைபடம்: tuput
தமிழ்
இந்தியாவில் IndiaAI இயக்கத்தின் கணினித் திறனில் பயிற்றுவிக்கப்பட்ட Sarvam இன் திறந்த 105B மாதிரி, ஒவ்வொரு டோக்கனையும் 128 நிபுணர்களில் 8க்கு அனுப்புகிறது; அதனால் ஒரே நேரத்தில் 10.3 பில்லியன் அளவுருக்களைச் செயல்படுத்துகிறது. இந்த எண்ணம் ஜேக்கப்ஸ், ஜோர்டன், நோவ்லன், ஹின்டன் ஆகியோரின் 1991 ஆய்வறிக்கை வரை செல்கிறது; 2017 ஜனவரியில் நோம் ஷசீர் மற்றும் சக ஆய்வாளர்களின் ஆய்வறிக்கை வழியாக மொழி மாதிரிகளை எட்டியது.
2026 மார்ச் 6 அன்று திறந்த எடைகளுடன் வெளியான Sarvam இன் 105B மாதிரி 105 பில்லியன் அளவுருக்களைக் (பயிற்சியின்போது ஒரு வலையமைப்பு கற்றுக்கொள்ளும் சரிசெய்யக்கூடிய எண்கள்) கொண்டுள்ளது; ஆனால் எந்த ஒரு டோக்கனுக்கும் (ஒரு சொல் அல்லது சொல்லின் ஒரு துண்டு) அவற்றில் 10.3 பில்லியன் மட்டுமே செயலில் உள்ளன என்று அதன் Hugging Face மாதிரி அட்டை கூறுகிறது. இந்தச் சேமிப்பு நிபுணர்களின் கலவை (mixture of experts) என்ற வடிவமைப்பிலிருந்து வருகிறது. மாதிரியையும் அதன் சிறிய 30B உடன்பிறப்பையும் IndiaAI இயக்கத்தின் கீழ் வழங்கப்பட்ட கணினித் திறனில், இந்தியாவில், தொடக்கத்திலிருந்தே தாங்களே பயிற்றுவித்ததாக Sarvam கூறுகிறது.
நிபுணர்களின் கலவை Mixtral, DeepSeek-V2, DeepSeek இன் புதிய மாதிரிகளுக்குள்ளும் உள்ளது. ஆய்வறிக்கைகளும் மாதிரி அட்டைகளும் 1991 ஆய்வறிக்கையிலிருந்து 137 பில்லியன் அளவுருக்கள் கொண்ட 2017 வலையமைப்பு வரையும், அங்கிருந்து 2024 முதல் 2026 வரையிலான திறந்த மாதிரிகள் வரையும் ஒரு கோட்டை வரைகின்றன. Sarvam இன் 105B, DeepSeek-V2 உடன் இரண்டு வடிவமைப்பு அம்சங்களைப் பகிர்ந்துகொள்கிறது: பகிரப்பட்ட நிபுணர், சுருக்கப்பட்ட வடிவிலான கவனம் (attention); இரண்டும் கீழே விவரிக்கப்பட்டுள்ளன.
வலையமைப்புக்குள் வழிப்படுத்தி என்ன செய்கிறது
சொற்களுக்குப் புதியவர்களுக்கு, அளவுருக்கள், டோக்கன்கள், முன்பயிற்சி பற்றி பெரிய மொழி மாதிரி எப்படிப் பயிற்றுவிக்கப்படுகிறது என்ற எங்கள் விளக்கக் கட்டுரை பேசுகிறது.
இன்றைய சாட்பாட்களின் வடிவமைப்பான சாதாரண transformer இல், ஒவ்வொரு டோக்கனும் ஒவ்வொரு அடுக்கிலும் ஒரு முன்னோக்குத் தொகுதி (feed-forward block) வழியாகச் செல்கிறது. அந்தத் தொகுதி, மாதிரியின் செயலாக்கத்தில் பெரும்பகுதியைச் செய்யும் எண்களின் பெரிய அடுக்கு. நிபுணர்களின் கலவை மாதிரி அந்த ஒற்றைத் தொகுதியை, நிபுணர்கள் எனப்படும் பல சிறிய தொகுதிகளால் மாற்றி, ஒரு வழிப்படுத்தியைச் (router) சேர்க்கிறது. எந்த டோக்கன்கள் எந்த நிபுணருக்குப் போகும் என்பதைத் தீர்மானிக்கும் ஒரு சிறிய, கற்றுக்கொள்ளும் வலையமைப்பே வழிப்படுத்தி என்றும், அது மாதிரியின் மற்றப் பகுதியுடன் சேர்ந்து பயிற்றுவிக்கப்படுகிறது என்றும் Hugging Face இன் 2023 விளக்கம் கூறுகிறது. Mixtral பற்றிய Mistral இன் பதிவும் அதையே சொல்கிறது: நிபுணர்களும் வழிப்படுத்திகளும் ஒரே நேரத்தில் பயிற்றுவிக்கப்படுகின்றன.
இதன் விளைவு இரண்டு எண்களுக்கு இடையிலான பிரிவு. Hugging Face இன் 2026 பிப்ரவரி சொல்லாடலில், ஒரு மாதிரியின் திறன் அதன் மொத்த அளவுருக்களைச் சார்ந்தது, ஆனால் அதன் ஊகிக்கும் வேகம் அதன் செயலில் உள்ள அளவுருக்களைச் சார்ந்தது. திறந்த gpt-oss-20b மாதிரியை அந்தப் பதிவு எடுத்துக்காட்டாக விளக்குகிறது: மொத்தம் 21 பில்லியன் அளவுருக்கள், ஒரு டோக்கனுக்கு 32 நிபுணர்களில் 4 பயன்படுகின்றன, ஏறத்தாழ 3.6 பில்லியன் செயலில் உள்ளன. Apple M3 Ultra வின் நினைவக அலைவரிசையிலிருந்து போடப்பட்ட வேக மதிப்பீடு விநாடிக்கு ஏறத்தாழ 111 டோக்கன்கள்; அளக்கப்பட்ட வேகம் ஏறத்தாழ 115.
நிபுணர் என்பவர் ஒரு தலைப்பில் தேர்ந்த வல்லுநர் அல்ல. 2026 பதிவு, அது வெறும் கற்றுக்கொள்ளக்கூடிய ஒரு துணை வலையமைப்பு என்றும், “math expert” அல்லது “code expert” அல்ல என்றும் கூறுகிறது. ஒரு ஆய்வில் (ST-MoE) குறியாக்கியில் உள்ள நிபுணர்கள் நிறுத்தற்குறிகள் அல்லது இயற்பெயர்கள் போன்ற டோக்கன் குழுக்களில் தனிச்சிறப்பு பெற்றனர் என்றும், பன்மொழி ஓட்டத்தில் எந்த ஒரு நிபுணரும் ஒரு மொழியில் தனிச்சிறப்பு பெறவில்லை என்றும் 2023 பதிவு தெரிவிக்கிறது.
1991 எண்ணம், 2017 பாய்ச்சல்
தொடக்கப் புள்ளி, 1991இல் Neural Computation இதழின் தொகுதி 3இல் வெளியான, ராபர்ட் ஜேக்கப்ஸ், மைக்கேல் ஜோர்டன், ஸ்டீவன் நோவ்லன், ஜெஃப்ரி ஹின்டன் ஆகியோரின் ஆய்வறிக்கை. அது பல தனித்தனி வலையமைப்புகள் கொண்ட அமைப்புக்கான ஒரு கற்றல் செயல்முறையை விவரிக்கிறது; ஒவ்வொன்றும் பயிற்சி வழக்குகளின் ஒரு உட்தொகுப்பைக் கையாளும், ஒரு வாயில் வலையமைப்பு (gating network) ஒவ்வொரு வழக்கையும் ஒன்று அல்லது சில நிபுணர்களுக்கு அனுப்பும், அதனால் எடை மாற்றங்கள் அவர்களுக்குள்ளேயே உள்ளூரில் நிற்கும். இந்த எண்ணத்தை ஜேக்கப்ஸும் ஹின்டனும் 1988இல் பிட்ஸ்பர்க்கில் ஒரு கோடைப் பள்ளியில் முதலில் முன்வைத்தனர் என்று ஆய்வறிக்கையின் அடிக்குறிப்பு கூறுகிறது. உயிரொலி அடையாளம் காணும் பணியை, ஒவ்வொன்றும் மிக எளிய நிபுணர் வலையமைப்பால் தீர்க்கப்படும் துணைப் பணிகளாகப் பிரித்து ஆசிரியர்கள் அதைச் சோதித்தனர்.
அடுத்த பெரிய படியை நோம் ஷசீரும் ஆறு இணை ஆசிரியர்களும் 2017 ஜனவரி 23 அன்று வெளியிட்டனர். நவீன GPU கூட்டங்களில் கணக்கீட்டுத் திறனில் சிறிய இழப்புகளுடன் மட்டும், “greater than 1000x improvements in model capacity” என்று அவர்களின் சுருக்கம் தெரிவிக்கிறது. அவர்கள் உருவாக்கிய அடுக்கு ஆயிரக்கணக்கான முன்னோக்கு நிபுணர்கள் வரை கொண்டிருந்தது; பயிற்றுவிக்கக்கூடிய வாயில் வலையமைப்பு ஒவ்வொரு எடுத்துக்காட்டுக்கும் அவற்றில் ஒரு அரிதான கலவையைத் தேர்ந்தெடுத்தது. அடுக்கடுக்கான LSTM அடுக்குகளுக்கு (பழைய வகை மொழி வலையமைப்பு) இடையில் 137 பில்லியன் அளவுருக்கள் வரை கொண்ட ஒன்றை அவர்கள் பயன்படுத்தினர்; மொழி மாதிரியாக்கம், மொழிபெயர்ப்பு அளவுகோல்களில் குறைந்த கணக்கீட்டுச் செலவில், வெளியிடப்பட்ட சிறந்தவற்றைவிட நல்ல முடிவுகளைப் பதிவு செய்கின்றனர். அந்த முடிவுகள் ஆசிரியர்களுடையவை. அந்தப் பணி அதிகத் தொடர்புச் செலவுகளையும் நிலையற்ற பயிற்சியையும் எதிர்கொண்டது என்று Hugging Face இன் விளக்கம் சேர்க்கிறது.
இரண்டு எளிமைப்படுத்தல்கள்: GShard, Switch
2020 ஜூன் GShard ஆய்வறிக்கை, அரிதாக வாயில் கொண்ட நிபுணர்களுடன் ஒரு பன்மொழி மொழிபெயர்ப்பு மாதிரியை 600 பில்லியன் அளவுருக்களுக்கு மேல் அளவிட்டதைத் தெரிவிக்கிறது; 100 மொழிகளிலிருந்து ஆங்கிலத்துக்கான மொழிபெயர்ப்புக்காக 2,048 TPU v3 முடுக்கிகளில் 4 நாட்களில் அது பயிற்றுவிக்கப்பட்டது.
வில்லியம் ஃபெடஸ், பாரெட் சோஃப், ஷசீர் எழுதிய Switch Transformers 2021 ஜனவரி 11 அன்று தொடர்ந்தது. அதன் முக்கிய மாற்றம் வழிப்படுத்தலை எளிமைப்படுத்தியது. முந்தைய வடிவமைப்புகள் ஒரு டோக்கனுக்குக் குறைந்தது இரண்டு நிபுணர்களைப் பயன்படுத்தின என்றும், Switch ஒவ்வொரு டோக்கனையும் ஒருவருக்கு அனுப்புகிறது என்றும் Hugging Face குறிப்பிடுகிறது; இது தரத்தைப் பாதுகாத்தபடியே, ஆசிரியர்கள் சொல்வதுபோல், வழிப்படுத்தி வேலை, தொடர்பு, தொகுதி அளவுகளைக் குறைக்கிறது. அதே வன்பொருளில் அதன் T5-Base, T5-Large தொடக்கப் புள்ளிகளை விட 7 மடங்கு வரை வேகமான முன்பயிற்சியையும், T5-XXL ஐ விட 4 மடங்கு வேக அதிகரிப்புடன் ஒரு டிரில்லியன் அளவுரு மாதிரியையும் ஆய்வறிக்கை தெரிவிக்கிறது. பெரிய அரிதான மாதிரிகளை முதன்முறையாகக் குறைந்த துல்லிய bfloat16 எண்களில் பயிற்றுவித்ததாகவும் ஆசிரியர்கள் கூறுகின்றனர்.
2024: Mixtral, DeepSeek செய்முறையை மாற்றுகின்றன
Mistral AI 2023 டிசம்பர் 11 அன்று Mixtral 8x7B ஐ Apache 2.0 உரிமத்தில் வெளியிட்டது; அதன் ஆய்வறிக்கை 2024 ஜனவரி 8 அன்று தொடர்ந்தது. ஒவ்வொரு அடுக்கிலும் 8 நிபுணர்கள் உள்ளனர், வழிப்படுத்தி ஒரு டோக்கனுக்கு 2 ஐத் தேர்ந்தெடுக்கிறது. நிபுணர்கள் டோக்கனுக்கு டோக்கன் மாறுவதால், ஒவ்வொரு டோக்கனுக்கும் 47 பில்லியன் அளவுருக்கள் கிடைக்கின்றன, ஆனால் ஒரு படியில் 13 பில்லியனைப் பயன்படுத்துகிறது என்று ஆய்வறிக்கை கூறுகிறது. Mistral இன் சொந்த அறிவிப்பு 46.7 பில்லியன், 12.9 பில்லியன் என்று தருகிறது; அவை அதே எண்ணுக்குச் சுற்றப்படுகின்றன; வேகத்தை 12 பில்லியன் அளவுரு மாதிரியுடன் Hugging Face ஒப்பிடுகிறது. பெரும்பாலான அளவுகோல்களில் Mixtral, Llama 2 70B மற்றும் GPT-3.5 க்குச் சமமாக அல்லது அவற்றை விஞ்சுகிறது என்று Mistral கூறுகிறது; இது தயாரிப்பாளரின் கூற்று, அவர் தேர்ந்தெடுத்த சோதனைகளில் அளக்கப்பட்டது.
மொத்தம் 8 மடங்கு 7 பில்லியன் அதாவது 56 பில்லியன் அல்ல, 47 பில்லியன்; ஏனெனில் முன்னோக்குத் தொகுதிகள் மட்டுமே நிபுணர்களாகப் பிரிக்கப்படுகின்றன. கவனமும் பிற பகுதிகளும் பகிரப்படுகின்றன என்று Hugging Face விளக்குகிறது.
Mixtral ஆய்வறிக்கைக்கு மூன்று நாட்களுக்குப் பிறகு, 2024 ஜனவரி 11 அன்று, DeepSeekMoE ஆய்வறிக்கை வெளிவந்தது. அது இரண்டு மாற்றங்களைச் செய்தது. நிபுணர்களை நுண்ணிய துண்டுகளாக வெட்டி ஒரு டோக்கனுக்கு அவற்றில் அதிகமானவற்றைச் செயல்படுத்தியது; பொது அறிவைத் தாங்க சில பகிரப்பட்ட நிபுணர்களை ஒதுக்கியது, அதனால் வழிப்படுத்தப்பட்டவை தனிச்சிறப்பு பெற முடிந்தது. ஆய்வறிக்கையின் சோதனைகளில் 16 பில்லியன் அளவுரு வடிவம், கணக்கீட்டில் ஏறத்தாழ 40% ஐப் பயன்படுத்தி LLaMA2 7B க்குச் சமமாக இருந்தது; 145 பில்லியன் அளவுருவின் ஒரு தொடக்க வடிவம் அதில் 28.5% ஐப் பயன்படுத்தி, ஒருவேளை 18.2% வரை குறைவாகவும், DeepSeek 67B க்குச் சமமாக இருந்தது. இந்த ஒப்பீடுகள் ஆசிரியர்களுடையவை.
2024 மே 7 அன்று DeepSeek-V2 தொடர்ந்தது: மொத்தம் 236 பில்லியன் அளவுருக்கள், ஒரு டோக்கனுக்கு 21 பில்லியன் செயல்படுத்தப்பட்டவை, 128,000 டோக்கன் சூழல் சாளரம், 8.1 டிரில்லியன் பயிற்சி டோக்கன்கள். முந்தைய அடர் (dense) DeepSeek 67B உடன் ஒப்பிடும்போது பயிற்சிச் செலவு 42.5% குறைவு, key-value கேச் 93.3% சிறியது, உருவாக்க வேகம் 5.76 மடங்கு வரை என்று குழு தெரிவிக்கிறது. key-value கேச் என்பது ஒரு மாதிரி எழுதும்போது முந்தைய டோக்கன்களைப் பற்றி வைத்திருக்கும் நினைவகம்; அந்தக் குறைப்பு ஆய்வறிக்கையின் இரண்டாவது அம்சமான Multi-head Latent Attention (MLA) இலிருந்து வருகிறது, அது அந்தக் கேசை ஒரு சிறிய சேமிப்பு வடிவத்துக்குச் சுருக்குகிறது.
இந்தியாவில் உருவான Sarvam இன் இரண்டு மாதிரிகள்
Sarvam இன் 2026 மார்ச் 6 வலைப்பதிவும் இரண்டு மாதிரி அட்டைகளும் வடிவமைப்பை விரிவாகத் தருகின்றன. இரு மாதிரிகளும் 128 நிபுணர்கள் கொண்ட அரிதான நிபுணர் அடுக்குகளைப் பயன்படுத்துகின்றன; வழிப்படுத்தப்பட்டவற்றுடன் கூடுதலாக, ஒரு பகிரப்பட்ட நிபுணர் எப்போதும் இயக்கத்தில் இருக்கிறார்.
| மாதிரி | மொத்த அளவுருக்கள் | ஒரு டோக்கனுக்குச் செயலில் | பயன்படும் வழிப்படுத்தப்பட்ட நிபுணர்கள் |
|---|---|---|---|
| Mixtral 8x7B (ஆய்வறிக்கை) | 47 பில்லியன் | 13 பில்லியன் | 8இல் 2 |
| DeepSeek-V2 (ஆய்வறிக்கை) | 236 பில்லியன் | 21 பில்லியன் | DeepSeekMoE வடிவமைப்பு |
| Sarvam 30B (மாதிரி அட்டை) | ஏறத்தாழ 30 பில்லியன் | 2.4 பில்லியன், embedding நீங்கலாக | 128இல் 6 |
| Sarvam 105B (மாதிரி அட்டை) | ஏறத்தாழ 105 பில்லியன் | 10.3 பில்லியன் | 128இல் 8 |
Sarvam 30B இன் செயலில் உள்ள அளவுருக்களை embedding அடுக்கு இல்லாமல், அதாவது டோக்கன்களை எண்களாக மாற்றும் தேடல் அட்டவணை இல்லாமல், அட்டை எண்ணுகிறது. Hugging Face கோப்புப் பட்டியல்கள் 30B க்கு 32 பில்லியன் அளவுருக்களையும், 105B க்கு 106 பில்லியனையும் காட்டுகின்றன; எனவே மாதிரிப் பெயர்கள் சுற்றப்பட்டவை.
கவனத்தைக் கையாளும் விதத்தில் இரண்டும் வேறுபடுகின்றன. 30B, கேசைச் சுருக்க Grouped Query Attention ஐப் பயன்படுத்துகிறது; அதில் பல கவனத் தலைகள் சேமிக்கப்பட்ட key, value களைப் பகிர்கின்றன (அட்டை 4 key-value தலைகளைப் பட்டியலிடுகிறது). 105B, அதைச் சுருக்க DeepSeek-V2 பயன்படுத்தும் Multi-head Latent Attention ஐப் பயன்படுத்துகிறது; நீண்ட உள்ளீடுகளுக்கு நினைவகத்தை மேலும் குறைப்பதாக Sarvam அதை விவரிக்கிறது. முன்பயிற்சிக்கு 30B க்கு 16 டிரில்லியன் டோக்கன்களும் 105B க்கு 12 டிரில்லியன் டோக்கன்களும் பயன்படுத்தப்பட்டன.
வழிப்படுத்தலில், வழக்கமான softmax க்குப் பதிலாக நிபுணர்களை sigmoid சார்புகளால் மதிப்பிட்டதாகவும், நிபுணர்-சார்பு (bias) உறுப்பைச் சேர்த்ததாகவும் Sarvam கூறுகிறது. நிபுணர்களிடையே சிறந்த சமநிலையும், வழிப்படுத்தல் சரிவு குறைவதும் நிறுவனம் கூறும் காரணம்; அந்தச் சரிவில் சில நிபுணர்கள் பெரும்பாலான போக்குவரத்தை எடுத்துக்கொள்கின்றனர். சுமைச் சமநிலையை இந்த வடிவமைப்பின் கடினமான சிக்கல்களில் ஒன்று என்று Hugging Face இன் 2023 கட்டுரை விவரிக்கிறது; Switch Transformers அதைப் பயிற்சியின்போது சேர்க்கப்படும் எளிமைப்படுத்தப்பட்ட கூடுதல் இழப்பால் கையாண்டது.
இரண்டையும் Apache 2.0 இல் Sarvam வெளியிட்டது; எடைகள் AI Kosh, Hugging Face இல் உள்ளன. 30B தனது Samvaad உரையாடல் தளத்தையும், 105B தனது Indus உதவியாளரையும் இயக்குகின்றன என்று அதன் வலைப்பதிவு கூறுகிறது. H100 சிப்களில் 30B, ஒரு பயனருக்குச் சமமான வேகங்களில் Qwen3 அடிப்படையை விட ஒரு GPU க்கு 3 முதல் 6 மடங்கு செயல்திறனைத் தருகிறது என்றும் அது தெரிவிக்கிறது. அந்த எண்ணும், இந்திய மொழி அளவுகோல்களில் உச்சநிலை முடிவுகள் என்ற நிறுவனத்தின் கூற்றும் Sarvam இன் சொந்தக் கூற்றுகள். 105B க்கான வெளி மதிப்பெண்கள் IndiaAI இயக்கம் பற்றிய எங்கள் அறிக்கையில் உள்ளன; இயக்கத்தின் மற்றொரு அரிதான மாதிரி வெளியீடான ZenteiQ இன் Dhir 5B இந்தக் கட்டுரையில் உள்ளது.
இந்த எண்ணம் எவ்வளவு தூரம் சென்றுள்ளது
2026 நவம்பர் 12 அன்று Hugging Face Hub இல் மாதிரி அட்டை இருந்த DeepSeek-V4.1-Flash இல் 552 பில்லியன் முதுகெலும்பு அளவுருக்களும், 1 மில்லியன் டோக்கன்கள் வரையிலான சூழலும் உள்ளன. ஒவ்வொரு அரிதான அடுக்கிலும் 1 பகிரப்பட்ட நிபுணரும் 384 வழிப்படுத்தப்பட்டவர்களும் உள்ளனர், ஒரு டோக்கனுக்கு 6 வழிப்படுத்தப்பட்ட நிபுணர்கள் செயலில் இருப்பார்கள் என்று அட்டை கூறுகிறது. அது 384 வழிப்படுத்தப்பட்ட நிபுணர்களில் 6, ஏறத்தாழ 1.6%; Mixtral தன் நிபுணர்களில் கால் பங்கைப் பயன்படுத்துகிறது, Sarvam இன் 105B 128இல் 8 ஐப் பயன்படுத்துகிறது. அட்டை 45 டிரில்லியன் டோக்கன் பயிற்சித் தொகுப்பையும் MIT உரிமத்தையும் பட்டியலிடுகிறது. 1 டிரில்லியன் அளவுருக்களில் இதே அணுகுமுறை Mistral Large 4 பற்றிய எங்கள் கட்டுரையில் உள்ளது.
இந்த வடிவமைப்பு எதைச் சேமிக்கவில்லை
ஒவ்வொரு டோக்கனிலும் சிலர் மட்டுமே வேலை செய்தாலும், ஒவ்வொரு நிபுணரும் நினைவகத்தில் இருந்தாக வேண்டும். Sarvam மாதிரிகளுக்குப் பட்டியலிடப்பட்ட 32 பில்லியன், 106 பில்லியன் அளவுருக் கோப்பு அளவுகள், ஒரு இயந்திரம் வைத்திருக்க வேண்டியவை. Mixtral வகை மாதிரிக்கு முழு 47 பில்லியன் அளவுருக்களையும் வைத்திருக்கப் போதுமான வீடியோ நினைவகம் தேவை என்றும், நிபுணர்களின் கலவை பல இயந்திரங்களில் அதிக செயல்திறன் கொண்ட சேவைக்குப் பொருந்தும், ஆனால் குறைந்த நினைவகமும் குறைந்த போக்குவரத்தும் இருக்கும்போது அடர் மாதிரி சிறந்தது என்றும் Hugging Face இன் 2023 விளக்கம் கூறுகிறது. செம்மைப்படுத்தும்போது அரிதான மாதிரிகள் அதிகப் பொருத்தத்துக்கு (overfitting) ஆளாகியுள்ளன என்றும், 256 அல்லது 512 நிபுணர்களுக்குப் பிறகு நிபுணர்களைச் சேர்ப்பதன் பலன்கள் குறைகின்றன என்றும் அது தெரிவிக்கிறது.
ஆதாரங்களும் மேலும் வாசிக்கவும்
- Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
- arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
- arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
- arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
- Mistral AI: Mixtral of experts (11 December 2023)
- arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
- arXiv: Dai et al., DeepSeekMoE (11 January 2024)
- arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
- Hugging Face: Mixture of Experts Explained (11 December 2023)
- Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
- Hugging Face: Sarvam-105B model card
- Hugging Face: Sarvam-30B model card
- Hugging Face: DeepSeek-V4.1-Flash model card
இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.
பிடித்ததா? அடுத்ததைப் பெறுங்கள்.
ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.