Skip to content
கவனம் ஒவ்வொரு சொல்லையும் மீண்டும் வாசிக்கும் இடத்தில் Mamba நிலையான அளவிலான ஓர் ஓடும் சுருக்கத்தை வைத்திருக்கிறது; இரண்டின் கலப்பினங்கள் இப்போது IBM இன் Granite 4.0, NVIDIA இன் Nemotron மாதிரிகள், Jamba, Sarvam இன் Saaras V4 ஆகியவற்றில் இயங்குகின்றன
செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்

கவனம் ஒவ்வொரு சொல்லையும் மீண்டும் வாசிக்கும் இடத்தில் Mamba நிலையான அளவிலான ஓர் ஓடும் சுருக்கத்தை வைத்திருக்கிறது; இரண்டின் கலப்பினங்கள் இப்போது IBM இன் Granite 4.0, NVIDIA இன் Nemotron மாதிரிகள், Jamba, Sarvam இன் Saaras V4 ஆகியவற்றில் இயங்குகின்றன

வரைபடம்: tuput

தமிழ்

IBM இன் Granite 4.0-H-Small இல் 36 Mamba-2 அடுக்குகளும் 4 கவன அடுக்குகளும் மட்டுமே உள்ளன; நீண்ட உள்ளீடுகளுக்குத் தேவையான நினைவகத்தை இந்த வடிவமைப்பு 70% க்கும் மேல் குறைக்கிறது என்று IBM கூறுகிறது. இந்த எண்ணம் 2021 இல் S4 என்ற கட்டுரையிலிருந்து, 2023 இல் Mamba வழியாக, AI21, Zyphra, NVIDIA, IBM, Sarvam ஆகியவற்றின் கலப்பினங்கள் வரை நீள்கிறது.

· · 8 நிமிட வாசிப்பு

IBM இன் Granite 4.0-H-Small, 2025 அக்டோபர் 2 அன்று Apache 2.0 உரிமத்தின் கீழ் வெளியிடப்பட்டது; அதில் 32 பில்லியன் அளவுருக்கள் (மாதிரி பயிற்சியில் கற்கும் சரிசெய்யக்கூடிய எண்கள்) உள்ளன; அதன் Hugging Face மாதிரி அட்டை 36 Mamba-2 அடுக்குகளையும் 4 கவன அடுக்குகளையும் மட்டுமே பட்டியலிடுகிறது. உள்ளீடு நீளமாக இருக்கும்போது அல்லது ஒரே நேரத்தில் பல பயனர்களுக்குச் சேவை வழங்கும்போது, வழக்கமான டிரான்ஸ்ஃபார்மர் மாதிரிகளை விட இந்த வடிவமைப்புக்கு 70% க்கும் மேல் குறைந்த நினைவகம் போதும் என்று IBM கூறுகிறது.

Mamba என்பது முந்தைய ஒவ்வொரு சொல்லையும் மீண்டும் வாசிக்காத ஒரு மொழி மாதிரியைக் கட்டும் முறை. ஆல்பர்ட் கு மற்றும் டிரி தாவ் அதை 2023 டிசம்பர் 1 அன்று வெளியிட்டனர்; அதை சில கவன அடுக்குகளுடன் கலக்கும் மாதிரிகள் இப்போது AI21, Zyphra, NVIDIA, IBM, மேலும் பேச்சு அறிதலுக்கு இந்தியாவின் Sarvam ஆகியவற்றிலிருந்து வருகின்றன. இந்தக் கட்டுரை ஒவ்வொரு படியின் பின்னாலும் உள்ள கட்டுரைகளையும் தயாரிப்பாளர் பக்கங்களையும் பின்தொடர்கிறது; தயாரிப்பாளரின் சொந்தமான ஒவ்வொரு வேக அல்லது நினைவக எண்ணையும் குறிக்கிறது.

உரை நீளும்போது கவனத்தின் செலவு

பெரும்பாலான அரட்டைப் போட்கள் டிரான்ஸ்ஃபார்மர்கள்; டிரான்ஸ்ஃபார்மரின் மையம் கவனம் (attention), அதாவது ஒவ்வொரு சொல்லும் அதற்கு முந்தைய சொற்களுடன் ஒப்பிடப்படும் படி. 2017 டிரான்ஸ்ஃபார்மர் கட்டுரை பற்றிய எங்கள் விளக்கம் அது எப்படிச் செயல்படுகிறது என்பதை விளக்குகிறது.

உரை வளரும்போது செலவு தெரிகிறது. ஒரு டோக்கனை (சொல் அல்லது சொல்லின் துண்டு) உருவாக்க, சுய கவன அடுக்கு இதுவரை பார்த்த டோக்கன்களின் எண்ணிக்கையுடன் வளரும் வேலையைச் செய்கிறது; மேலும் முந்தைய முடிவுகளின் ஒரு சேமிப்பையும், அதாவது KV cache ஐயும், வைத்திருக்க வேண்டும்; அதன் அளவு உரையின் நீளத்துக்கு விகிதத்தில் வளர்கிறது என்று NVIDIA இன் Nemotron-H கட்டுரை கூறுகிறது. KV cache ஐ DeepSeek V4.1-Flash பற்றிய எங்கள் கட்டுரை விரிவாக விளக்குகிறது. இதே கருத்தை IBM வேறு விதமாகச் சொல்கிறது: உள்ளீட்டு நீளம் இரட்டிப்பானால், டிரான்ஸ்ஃபார்மர் முழு உள்ளீட்டிலும் நான்கு மடங்கு கணக்கீடுகளைச் செய்ய வேண்டும்.

நிலையான அளவிலான குறிப்பேடு

நிலையான அளவிலான ஒரே ஒரு குறிப்பேடு மட்டுமே அனுமதிக்கப்பட்ட ஒரு வாசகரை நினைத்துப் பாருங்கள். ஒவ்வொரு சொல்லுக்குப் பிறகும், எதை எழுதுவது எதை அழிப்பது என்று வாசகர் முடிவு செய்கிறார்; உரையை ஒருபோதும் திரும்பிப் பார்ப்பதில்லை. குறிப்பேடு ஒருபோதும் வளர்வதில்லை; எனவே உரை பத்து சொற்களாக இருந்தாலும் பத்து லட்சம் சொற்களாக இருந்தாலும் ஒவ்வொரு புதிய சொல்லுக்கும் அதே முயற்சிதான். விலை என்னவென்றால், குறிப்பேடு வைத்துக்கொள்ளாதது போய்விடும்.

இந்த உவமை இந்தக் கட்டுரையின் சொந்தம். சூழலை ஒரு சிறிய நிலையாகச் சுருக்குவது என்று கு மற்றும் தாவ் தங்கள் Mamba கட்டுரையில் இதைச் சட்டகப்படுத்துகின்றனர்: கவனம் சூழலை எவ்விதத்திலும் சுருக்காததால் அது பயனுள்ளது ஆனால் திறனற்றது; வரையறுக்கப்பட்ட நிலை கொண்ட மீள்வரு மாதிரி திறனுள்ளது, ஆனால் அந்த நிலை சூழலை எவ்வளவு நன்றாகப் பிடிக்கிறது என்பதால் வரம்புக்குட்பட்டது என்று அவர்கள் எழுதுகின்றனர். நிலை வெளி மாதிரியில், “நிலை” என்பதுதான் குறிப்பேடு.

2021 இல் S4: மிக நீண்ட தொடர்களை எட்டும் நிலை வெளி அடுக்குகள்

நிலை வெளி மாதிரிகள் கட்டுப்பாட்டுப் பொறியியலிலிருந்து வருகின்றன; 2021 க்குள் அவற்றுக்கு ஓர் அறியப்பட்ட பலவீனம் இருந்தது. 2021 அக்டோபர் 31 அன்று வெளியான தங்கள் S4 கட்டுரையின் சுருக்கத்தில், வழக்கமான மாதிரிகள் “10000 அல்லது அதற்கு மேற்பட்ட படிகள் கொண்ட மிக நீண்ட தொடர்களுக்கு அளவிட சிரமப்படுகின்றன” என்றும், முந்தைய நிலை வெளி அணுகுமுறை பொதுவாகப் பயன்படுத்த கணக்கீட்டிலும் நினைவகத்திலும் மிகச் செலவானது என்றும் கு, கோயல், ரே (ஸ்டான்ஃபோர்ட்) எழுதினர். அடுக்கு மிகவும் திறமையாகக் கணக்கிடப்படும் வகையில் S4 அதை அமைக்கும் முறையை மாற்றியது.

தரவு பெருக்கம் இல்லாமல், தொடர் CIFAR-10 இல் (ஒரு நீண்ட தொடராக வாசிக்கப்படும் பட வகைப்படுத்தல் சோதனை) 91% துல்லியத்தை, ஒரு பெரிய 2-D ResNet க்கு இணையாக, ஆசிரியர்கள் தெரிவிக்கின்றனர். 16,000 நீளத் தொடர்கள் கொண்ட Path-X பணியைத் தீர்த்ததாகவும், அவர்கள் சொற்களில் முந்தைய அனைத்து வேலைகளும் அதில் தோல்வியடைகின்றன என்றும், பட மற்றும் மொழி மாதிரிப் பணிகளில் தரத்தின் பெரும்பகுதி இடைவெளியை மூடியபடி டிரான்ஸ்ஃபார்மர்களை விட 60 மடங்கு வேகமான உருவாக்கத்தையும் தெரிவிக்கின்றனர். இவை ஆசிரியர்களின் முடிவுகள்.

2023 இல் Mamba: எதை வைத்துக்கொள்வது என்று மாதிரியே தேர்வு செய்யட்டும்

S4 அடுக்கு ஒவ்வொரு உள்ளீட்டுக்கும் அதே நிலையான விதிகளைப் பயன்படுத்தியது. கு மற்றும் தாவின் மாற்றம், அடுக்கின் அளவுருக்களை நடப்பு உள்ளீட்டைச் சார்ந்ததாக்குவது; இதனால் தொடர் முழுவதும் மாதிரி, அவர்கள் சொற்களில், “தகவலைத் தேர்ந்தெடுத்துப் பரப்பவோ மறக்கவோ” முடியும். இதனுடன் கட்டுரை, GPU இல் (கிராபிக்ஸ் செயலி, பெரும்பாலான AI வேலைகளை ஓட்டும் சிப்) அடுக்கைத் திறமையாகக் கணக்கிடும் வன்பொருள் அறிந்த ஒரு படிமுறையையும், கவனத்தையோ வழக்கமான முன்னோக்கு வலையமைப்புத் தொகுதிகளையோ பயன்படுத்தாத எளிமைப்படுத்தப்பட்ட வலையமைப்பையும் இணைக்கிறது.

பயிற்சியில் நினைவகமும் கணக்கீடும் தொடர் நீளத்துடன் நேர்கோட்டில் வளர்கின்றன என்றும், முந்தைய உருப்படிகளின் cache இல்லாததால் உருவாக்கத்தின் ஒவ்வொரு படியும் நிலையான நேரம் எடுக்கிறது என்றும் கட்டுரை தெரிவிக்கிறது. ஒரு A100 80 GB GPU இல், 2,048 டோக்கன் தூண்டுதலுடனும் உருவாக்கப்பட்ட 128 டோக்கன்களுடனும் நடத்திய வேகச் சோதனையில், ஒத்த அளவிலான டிரான்ஸ்ஃபார்மரின் அனுமான வீச்சை (விநாடிக்கு உருவாக்கப்படும் சொற்கள்) விட Mamba 4 முதல் 5 மடங்கு அடைந்தது; ஒரு காரணம், KV cache இல்லாததால் அது மிகப் பெரிய தொகுதிகளைப் பயன்படுத்த முடிந்தது. சுருக்கம் இதை 5 மடங்கு என முழுமையாக்குகிறது. தங்கள் 3 பில்லியன் அளவுரு Mamba, தங்கள் சோதனைகளில், அதே அளவு டிரான்ஸ்ஃபார்மர்களை வென்றது என்றும் இரு மடங்கு அளவுள்ளவற்றுக்கு இணையாக இருந்தது என்றும் ஆசிரியர்கள் தெரிவிக்கின்றனர். அவர்கள் குறியீட்டையும் பயிற்சி பெற்ற சோதனைச் சேமிப்புகளையும் வெளியிட்டனர்.

2024 இல் Mamba-2: கவனமும் நிலை வெளி மாதிரிகளும் நெருங்கிய உறவினர்கள் என்று தெரிகிறது

தாவ் மற்றும் கு எழுதிய இரண்டாவது கட்டுரை, 2024 மே 31 அன்று “Transformers are SSMs” என்ற பெயரில் வெளியானது, இரு குடும்பங்களும் நெருங்கிய தொடர்புடையவை என்று வாதிடுகிறது. அவர்களின் “நிலை வெளி இருமை” சட்டகம் நிலை வெளி மாதிரிகளையும் கவனத்தின் மாறுபாடுகளையும் கட்டமைக்கப்பட்ட அணிகளின் ஒரு வகை வழியாக இணைக்கிறது. நடைமுறை விளைவு Mamba-2; அதன் மைய அடுக்கு Mamba இன் அடுக்கை விட 2 முதல் 8 மடங்கு வேகமானது என்றும், மிகப் பெரிய ஓடும் சுருக்கத்தை வைத்திருக்க முடியும் என்றும் ஆசிரியர்கள் கூறுகின்றனர். திறந்த உரைத் தொகுப்பான Pile இன் 300 பில்லியன் டோக்கன்களில் பயிற்சி பெற்ற 2.7 பில்லியன் அளவுரு Mamba-2, அதே தரவில் பயிற்சி பெற்ற அசல் Mamba 2.8B ஐயும் Pythia 2.8B, 6.9B மாதிரிகளையும் விஞ்சியது என்று அவர்கள் தெரிவிக்கின்றனர்.

குறிப்பேடு மட்டும் ஏன் போதாது

நிலையான குறிப்பேடு விவரத்தை இழக்கக்கூடும்; அதனால்தான் கலப்பினங்கள் சிறிது கவனத்தை வைத்திருக்கின்றன. Jamba கட்டுரை இதை நேரடியாகச் சோதித்தது. 1.3 பில்லியன் அளவுருக்கள், 250 பில்லியன் பயிற்சி டோக்கன்களில், திரைப்பட மதிப்புரைகளை நேர்மறை அல்லது எதிர்மறை என்று குறிக்கும் சோதனையான IMDB இல், தூய கவன மாதிரி, தூய Mamba மாதிரி, ஒரு கலவை ஆகியவை பின்வருமாறு மதிப்பெண் பெற்றன.

மாதிரிIMDBQuACNarrativeQA
கவனம் மட்டும்84.127.945.8
Mamba மட்டும்48.820.227.7
கவனமும் Mamba வும் கலந்தது90.926.643.7

QuAC மற்றும் NarrativeQA கேள்வி பதில் சோதனைகள். IMDB இல் தூய Mamba மாதிரி அனுமதிக்கப்பட்ட இரண்டு லேபிள்களுக்குப் பதிலாக “Very Good” அல்லது “3/10” போன்றவற்றுடன் பதில் வடிவத்தை அடிக்கடி உடைத்தது என்று Jamba ஆசிரியர்கள் தெரிவிக்கின்றனர்; இதைச் சூழல்வழிக் கற்றலுடன், அதாவது தூண்டுதலில் உள்ள எடுத்துக்காட்டுகளிலிருந்து ஒரு பணியைக் கற்கும் திறனுடன், அவர்கள் தொடர்புபடுத்துகின்றனர். 50 பில்லியன் டோக்கன்களுக்குப் பிறகு 7 பில்லியன் அளவுருக்களில், தூய Mamba “மிகவும் போட்டித்தன்மை” கொண்டது ஆனால் கவனத்தை விடச் சற்றுப் பின்னால் என்றும், கலப்பு மாதிரி இரண்டுக்கும் முன்னால் என்றும் கண்டனர். தூய நிலை வெளி மாதிரிகள் சூழல்வழிக் கற்றலில் குறைவாகச் செயல்படுகின்றன என்ற அதே கருத்தை Zamba2 அறிக்கையும் IBM இன் அறிவிப்பும் கூறுகின்றன.

ஒரு கலப்பினத்துக்கு எவ்வளவு கவனம் தேவை என்பதை Mamba-2 கட்டுரை சோதித்தது. 48 அடுக்குகள் கொண்ட 350 மில்லியன் அளவுரு மாதிரியில், குழப்பம் (perplexity; உண்மையான உரையைக் கண்டு மாதிரி எவ்வளவு வியப்படைகிறது என்பதன் மதிப்பெண், குறைவாக இருப்பது நல்லது) தூய Mamba-2 க்கு 8.60, முழு டிரான்ஸ்ஃபார்மர் செய்முறைக்கு 8.68, ஆறு கவன அடுக்குகளுடன் 8.26. அடுக்குகளில் ஏறக்குறைய 10% கவனமாக இருப்பது சிறப்பாகச் செயல்பட்டது என்று ஆசிரியர்கள் கண்டனர். நிலை வெளி அடுக்குகள் பொதுவான தொடர் செயலாக்கத்தைக் கையாளுகின்றன, கவன அடுக்குகள் எல்லாவற்றையும் தன் நிலைக்குள் பிழியுமாறு மாதிரியை வற்புறுத்தாமல் முந்தைய டோக்கன்களுக்குத் தாவக்கூடிய தேடலாகச் செயல்படுகின்றன என்று ஒரு கருதுகோளாக அவர்கள் பரிந்துரைக்கின்றனர்.

தயாரிப்பாளர்களின் சொந்தச் சொற்களில் நான்கு கலப்பினங்கள்

ஒவ்வொரு மூலமும் குறிப்பிடும் கவனப் பங்கை அட்டவணை தருகிறது. மூலங்கள் அடுக்குகளை வெவ்வேறு விதமாக எண்ணுகின்றன (எடுத்துக்காட்டாக, Nemotron-H முன்னோக்கு வலையமைப்பு அடுக்குகளைத் தனியாகப் பட்டியலிடுகிறது); எனவே பங்குகள் நெருக்கமானவை, ஆனால் ஒரே அளவீடுகள் அல்ல.

மாதிரிதேதிஅடுக்கில் கவனம், மூலம் கூறுவது போல்
Jamba (AI21)2024 மார்ச் 28ஒவ்வொரு 7 Mamba அடுக்குகளுக்கும் 1 கவன அடுக்கு
Zamba2 (Zyphra)2024 நவம்பர் 22Mamba-2 முதுகெலும்புடன் ஒன்று அல்லது இரண்டு பகிரப்பட்ட கவனத் தொகுதிகள்; அவற்றின் எடைகள் மீண்டும் பயன்படுகின்றன
Nemotron-H (NVIDIA)2025 ஏப்ரல் 4ஏறக்குறைய 8% அடுக்குகள்: 8B மாதிரியில் 52 இல் 4, 56B இல் 118 இல் 10
Granite 4.0-H (IBM)2025 அக்டோபர் 2மூன்று கலப்பின அளவுகளிலும் 4 கவன மற்றும் 36 Mamba-2 அடுக்குகள், 9 க்கு 1 விகிதம்

Jamba கவன மற்றும் Mamba அடுக்குகளை இடைப்பின்னுகிறது, மேலும் நிபுணர் கலவையையும் (ஒவ்வொரு சொல்லும் சில துணை வலையமைப்புகளுக்கு அனுப்பப்படும் வடிவமைப்பு; எங்கள் விளக்கத்தில் விளக்கப்பட்டுள்ளது) சேர்க்கிறது. வெளியிடப்பட்ட மாதிரியில் மொத்தம் 52 பில்லியன் அளவுருக்கள், ஒரு நேரத்தில் 12 பில்லியன் செயலில் உள்ளன; Apache 2.0 உரிமத்தின் கீழ் 256,000 டோக்கன் சூழலை ஆதரிக்கிறது. 16 பிட் எண்களில் 256,000 டோக்கன்களில் KV cache ஐ Jamba க்கு 4 GB என்றும், Mixtral க்கு 32 GB என்றும், Llama-2 6.7B க்கு 128 GB என்றும் கட்டுரையின் அட்டவணை தருகிறது. நான்கு A100 GPUகளில் 128,000 டோக்கன்களில் Mixtral இன் வீச்சை விட 3 மடங்கையும் ஆசிரியர்கள் தெரிவிக்கின்றனர். Jamba வை முதல் உற்பத்தித் தர Mamba அடிப்படையிலான மாதிரி என்று AI21 அழைக்கிறது; இது நிறுவனத்தின் சொந்த விவரிப்பு.

Zyphra வின் Zamba2 1.2, 2.7, 7.4 பில்லியன் அளவுரு அளவுகளில் வருகிறது. எடைகள் Apache 2.0 இன் கீழ் திறந்தவை, பயிற்சித் தரவுத்தொகுப்பும் (Zyda-2) திறந்தது, மாதிரிகள் மூன்று டிரில்லியன் டோக்கன்கள் வரை பயிற்சி பெற்றன என்று அறிக்கை கூறுகிறது. தாமதம், வீச்சு, நினைவகப் பயன்பாடு ஆகியவற்றில் ஆதாயங்களுடன், தங்கள் அளவுக்கான முன்னணித் திறந்த எடை மாதிரிகளுக்கு இணையாக அல்லது அவற்றை விஞ்சுவதாக Zyphra கூறுகிறது; இது நிறுவனத்தின் சொந்த ஒப்பீடு.

NVIDIA இன் Nemotron-H கட்டுரை, பெரும்பாலான கவன அடுக்குகளை, உருவாக்கப்படும் ஒவ்வொரு டோக்கனுக்கும் நிலையான நினைவகம் தேவைப்படும் Mamba அடுக்குகளால் மாற்றியதாகக் கூறுகிறது. ஒத்த துல்லியத்தில், ஒத்த அளவிலான டிரான்ஸ்ஃபார்மர்களை விட 3 மடங்கு வரை வேகமான அனுமானத்தை NVIDIA தெரிவிக்கிறது. சோதனை 65,536 டோக்கன் உள்ளீடும் 1,024 உருவாக்கப்பட்ட டோக்கன்களும், H100 GPUகளும், Nemotron-H க்கு NVIDIA இன் சொந்த ஆரம்பச் செயலாக்கமும், ஒப்பீட்டு மாதிரிகளுக்கு vLLM சேவை மென்பொருளும் பயன்படுத்தியது. 56B மாதிரிக்கு Qwen-2.5-72B மற்றும் Llama-3.1-70B இன் GPU ஒன்றுக்கான வெளியீட்டை விட 2.4 மடங்கை NVIDIA அளவிட்டது. டிரான்ஸ்ஃபார்மர்கள் ஆண்டுக்கணக்கில் பெரிதும் மேம்படுத்தப்பட்டுள்ளன என்றும், Nemotron-H க்கு மேலும் வேக அதிகரிப்புகளை எதிர்பார்ப்பதாகவும் கட்டுரை சேர்க்கிறது.

NVIDIA இன் பிந்தைய Nemotron 3 குடும்பம், அதன் குடும்பப் பக்கம் (2025 டிசம்பர் 15 அன்று வெளியானது) மற்றும் வெள்ளையறிக்கையின் (2025 டிசம்பர் 24) படி, நிபுணர் கலவை கலப்பின Mamba-டிரான்ஸ்ஃபார்மர் வடிவமைப்பைப் பயன்படுத்துகிறது. பக்கம் 1 மில்லியன் டோக்கன்கள் வரையிலான சூழலைப் பட்டியலிடுகிறது; Nano மாதிரியை மொத்தம் 31.6 பில்லியன் அளவுருக்கள், 3.2 பில்லியன் செயலில் என்று விவரிக்கிறது. ஒரு H200 GPU இல், உள்ளே 8,000 டோக்கன், வெளியே 16,000 என்ற நிலையில், Qwen3-30B-A3B இன் வீச்சை விட 3.3 மடங்கை NVIDIA தெரிவிக்கிறது. 2026 நவம்பர் 19 அன்று படித்த பக்கம், Nemotron 3 Ultra வெளியிடப்பட்டது என்று ஒரு புதுப்பிப்பைக் கொண்டுள்ளது; அதற்குத் தேதி எதுவும் தரவில்லை.

IBM இன் Granite 4.0 இல் மூன்று கலப்பின மாதிரிகள் உள்ளன: H-Small (32 பில்லியன் அளவுருக்கள், 9 பில்லியன் செயலில்), H-Tiny (7 பில்லியன், 1 பில்லியன் செயலில்), H-Micro (3 பில்லியன், அடர்). மேலும் கலப்பினங்களை இன்னும் ஓட்ட முடியாத தளங்களுக்கு 3 பில்லியன் அளவுரு வழக்கமான டிரான்ஸ்ஃபார்மர். Mamba டோக்கன்களை வரிசையாக வாசிப்பதால், கலப்பினங்கள் நிலை குறியாக்கத்தைப் (சொற்களின் வரிசையை டிரான்ஸ்ஃபார்மருக்குச் சொல்லும் கூடுதல் சமிக்ஞை) பயன்படுத்துவதில்லை என்று IBM கூறுகிறது. கலப்பின வடிவமைப்பு செயல்திறனுக்குப் பங்களிக்கிறது, ஆனால் Granite 3.3 ஐ விட Granite 4.0 இன் துல்லிய ஆதாயங்களில் பெரும்பாலானவை, அதன் வழக்கமான 3B மாதிரியே பழைய 8B மாதிரியை வெல்வதால், சிறந்த பயிற்சித் தரவு மற்றும் முறைகளிலிருந்து வருகின்றன என்றும் IBM கூறுகிறது. 70% நினைவக எண் வழக்கமான டிரான்ஸ்ஃபார்மர் மாதிரிகளுக்கு எதிரான IBM இன் சொந்தக் கூற்று.

Sarvam இன் Saaras V4

Sarvam, Saaras V4 ஐ 2026 செப்டம்பர் 25 அன்று வெளியிட்டது. இந்தப் பேச்சு அறிதல் அமைப்பு ஓர் ஒலிக் குறியாக்கியையும், உள்நாட்டிலேயே ஆரம்பத்திலிருந்து பயிற்றுவிக்கப்பட்ட “கலப்பின நிலை வெளி மாதிரி” என்று விவரிக்கப்படும் 3 பில்லியன் அளவுரு மொழி மாதிரி குறிவிலக்கியையும் இணைக்கிறது என்று அதன் பதிவு கூறுகிறது. பதிவு Mamba வையோ சரியான அடுக்கு வடிவமைப்பையோ பெயரிடவில்லை; Saaras V4 ஐ ஒரு REST API மற்றும் ஒரு தொகுதி API வழியாக வழங்குகிறது; மாதிரி எடைகளின் வெளியீட்டை விவரிக்கவில்லை. அதன் 22 மொழிகளையும் சோதனை முடிவுகளையும் Saaras V4 பற்றிய எங்கள் கட்டுரை உள்ளடக்குகிறது.

மூலங்கள் காட்டாதவை

மேலே உள்ள ஒவ்வொரு வேக எண்ணும் தயாரிப்பாளரின் சொந்தம்; வெவ்வேறு மாதிரியில், வெவ்வேறு வன்பொருளில், வெவ்வேறு அடிப்படைகளுக்கு எதிராக அளவிடப்பட்டது: Mamba கட்டுரையில் 5 மடங்கு, Mamba-2 அடுக்குக்கு 2 முதல் 8 மடங்கு, Nemotron-H இல் 3 மடங்கு, Nemotron 3 Nano க்கு 3.3 மடங்கு. அவை ஒன்றுடன் ஒன்று ஒப்பிடத்தக்கவை அல்ல; இந்தக் கட்டுரை அவற்றைக் கூட்டுவதில்லை.

இன்றைய மிகப் பெரிய மாதிரிகளின் அளவில், ஒரு கலப்பினத்தையும் தூய டிரான்ஸ்ஃபார்மரையும் சுயாதீனமாக நேருக்கு நேர் ஒப்பிடும் ஒன்றைத் திறந்த பக்கங்கள் எதுவும் தரவில்லை; வேறொரு ஆய்வகத்தின் அரட்டைத் தயாரிப்பு Mamba அடுக்குகளைப் பயன்படுத்துகிறது என்றும் எதுவும் கூறவில்லை. Saaras V4 இன் கட்டமைப்பு Sarvam தனது சொந்த அமைப்பைப் பற்றித் தரும் விவரிப்பு. Granite 4.0 இன் அறிவிப்பு, அதன் மாதிரிகள் 512,000 டோக்கன்கள் வரை நீளமான மாதிரிகளில் பயிற்சி பெற்றன என்றும், 128,000 டோக்கன்கள் வரையிலான பணிகளில் சரிபார்க்கப்பட்டன என்றும் கூறுகிறது.

Share
Copied!

ஆதாரங்களும் மேலும் வாசிக்கவும்

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

பிடித்ததா? அடுத்ததைப் பெறுங்கள்.

ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.

இதே பிரிவில் மேலும்: செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்
கூகுளின் எட்டு ஆசிரியர்கள் 2017 ஜூன் 12 அன்று டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கையை வெளியிட்டனர்; அதன் பெரிய மாடல் எட்டு GPU-களில் 3.5 நாட்கள் பயிற்சிக்குப் பிறகு ஆங்கிலத்திலிருந்து ஜெர்மனுக்கான மொழிபெயர்ப்பில் 28.4 BLEU பெற்றது
இன்றைய சாட்பாட்களின் பின்னால் உள்ள வடிவமைப்பின் ஒரு விளக்கம்; ஆய்வறிக்கையின் சொந்த அட்டவணைகளையும், ஆற்றைப் பார்க்க வேண்டிய ஒரு சொல் பற்றிய கூகுளின் சொந்த எடுத்துக்காட்டையும் இது பயன்படுத்துகிறது. 2017 வடிவமைப்பில் பிற்கால மாடல்கள் எவற்றை வைத்துக்கொண்டன, எவற்றை மாற்றின, எவற்றைக் கைவிட்டன என்பதையும் இது சொல்கிறது.
2026 செப்டம்பர் 10 அன்று வெளியான டீப்சீக்கின் V4.1-Flash, 552 பில்லியன் அளவுருக்கள் கொண்ட திறந்த எடை மாடல், ஒரு டோக்கனுக்கான நினைவகக் கேச்சை 890 பைட்டுகளாகக் குறைக்கிறது; அதன் முந்தைய மாடலின் அளவில் சுமார் கால் பங்கு
நீண்ட உரையாடலைப் பற்றிய ஒரு மாடலின் குறுகியகால நினைவகத்தைப் பராமரிப்பது செலவுமிக்கது. டீப்சீக்கின் செப்டம்பர் வெளியீடு அதை வடிவமைப்பிலேயே அழுத்துகிறது; மாடல் இன்னும் எங்கே பின்தங்குகிறது என்பதையும் அதன் சொந்த அறிக்கை சொல்கிறது. இதோ அந்தப் பொறிமுறை, 2024 முதலான காலவரிசை, வெளியாட்கள் சரிபார்த்தவை.
Sarvam இன் 105 பில்லியன் அளவுரு மாதிரி ஒவ்வொரு டோக்கனுக்கும் அவற்றில் 10.3 பில்லியனைக் கொண்டு கணக்கிடுகிறது; 1991 ஆய்வறிக்கையிலிருந்து Mixtral, DeepSeek வரை செல்லும் நிபுணர்களின் கலவை (mixture of experts) வடிவமைப்பை அது பயன்படுத்துகிறது
ஒரு சிறிய வழிப்படுத்தி ஒவ்வொரு சொல்லையும் 128 துணை வலையமைப்புகளில் சிலவற்றுக்கு அனுப்புகிறது; அதனால் ஒரு சொல்லுக்கு மாதிரியின் பெரும்பகுதி சும்மா இருக்கிறது. இந்த வடிவமைப்பு எங்கிருந்து வந்தது, Mixtral, DeepSeek, Sarvam அதை எப்படிப் பயன்படுத்துகின்றன, அது எதைச் சேமிக்கவில்லை என்பது இங்கே.
← அனைத்துக் கட்டுரைகள்