Skip to content
అటెన్షన్ ప్రతి పదాన్ని మళ్లీ చదివే చోట మాంబా స్థిర పరిమాణ సారాంశాన్ని ఉంచుకుంటుంది, ఈ రెంటి హైబ్రిడ్‌లు ఇప్పుడు ఐబీఎం గ్రానైట్ 4.0, ఎన్విడియా నీమోట్రాన్ మోడళ్లు, జంబా, Sarvam Saaras V4లో నడుస్తున్నాయి
ఏఐ మరియు సాంకేతికత

అటెన్షన్ ప్రతి పదాన్ని మళ్లీ చదివే చోట మాంబా స్థిర పరిమాణ సారాంశాన్ని ఉంచుకుంటుంది, ఈ రెంటి హైబ్రిడ్‌లు ఇప్పుడు ఐబీఎం గ్రానైట్ 4.0, ఎన్విడియా నీమోట్రాన్ మోడళ్లు, జంబా, Sarvam Saaras V4లో నడుస్తున్నాయి

చిత్రణ: tuput

తెలుగు

ఐబీఎం గ్రానైట్ 4.0-H-స్మాల్‌లో 36 మాంబా-2 లేయర్లు, కేవలం 4 అటెన్షన్ లేయర్లు ఉన్నాయి, దీర్ఘ ఇన్‌పుట్‌లకు కావలసిన మెమరీని ఈ డిజైన్ 70 శాతానికి పైగా తగ్గిస్తుందని ఐబీఎం చెబుతోంది. ఈ ఆలోచన 2021లో S4 అనే పత్రం నుంచి 2023లో మాంబా మీదుగా ఏఐ21, జైఫ్రా, ఎన్విడియా, ఐబీఎం, Sarvam హైబ్రిడ్‌ల వరకు సాగింది.

· · 8 నిమిషాల పఠనం

2025 అక్టోబర్ 2న అపాచీ 2.0 లైసెన్స్ కింద విడుదలైన ఐబీఎం గ్రానైట్ 4.0-H-స్మాల్‌కు 32 బిలియన్ పారామీటర్లు ఉన్నాయి (శిక్షణలో మోడల్ నేర్చుకునే సర్దుబాటు సంఖ్యలు), దాని హగ్గింగ్ ఫేస్ మోడల్ కార్డ్ 36 మాంబా-2 లేయర్లను, కేవలం 4 అటెన్షన్ లేయర్లను జాబితా చేస్తుంది. ఇన్‌పుట్ దీర్ఘంగా ఉన్నప్పుడు లేదా ఒకేసారి చాలా మంది వినియోగదారులకు సేవ చేసేటప్పుడు సంప్రదాయ ట్రాన్స్‌ఫార్మర్ మోడళ్ల కంటే ఈ డిజైన్‌కు 70 శాతానికి పైగా తక్కువ మెమరీ చాలని ఐబీఎం చెబుతోంది.

మాంబా అనేది ప్రతి మునుపటి పదాన్నీ మళ్లీ చదవని భాషా మోడల్‌ను నిర్మించే పద్ధతి. ఆల్బర్ట్ గు, ట్రీ డావో దీన్ని 2023 డిసెంబర్ 1న పోస్ట్ చేశారు, దీన్ని కొన్ని అటెన్షన్ లేయర్లతో కలిపే మోడళ్లు ఇప్పుడు ఏఐ21, జైఫ్రా, ఎన్విడియా, ఐబీఎం నుంచి, భారతదేశంలో వాక్ గుర్తింపు కోసం Sarvam నుంచి వస్తున్నాయి. ఈ వ్యాసం ప్రతి దశ వెనుక ఉన్న పత్రాలను, తయారీదారుల పేజీలను అనుసరిస్తుంది, తయారీదారు సొంతమైన ప్రతి వేగ లేదా మెమరీ గణాంకాన్ని గుర్తిస్తుంది.

పాఠ్యం పొడవైనప్పుడు అటెన్షన్ ఖర్చు

చాలా చాట్‌బాట్‌లు ట్రాన్స్‌ఫార్మర్లు, ట్రాన్స్‌ఫార్మర్ ప్రధాన భాగం అటెన్షన్, అంటే ప్రతి పదాన్ని దాని ముందున్న పదాలతో పోల్చే దశ. అది ఎలా పనిచేస్తుందో 2017 ట్రాన్స్‌ఫార్మర్ పత్రంపై మా వివరణ వివరిస్తుంది.

పాఠ్యం పెరిగేకొద్దీ ఖర్చు కనిపిస్తుంది. ఒక టోకెన్‌ను (ఒక పదం లేదా పదంలో ఒక ముక్క) రూపొందించడానికి, సెల్ఫ్-అటెన్షన్ లేయర్ ఇప్పటివరకు చూసిన టోకెన్ల సంఖ్యతో పెరిగే పని చేస్తుందని, అదే సమయంలో మునుపటి ఫలితాల నిల్వను, అంటే కేవీ కాష్‌ను, ఉంచుకోవాలని, దాని పరిమాణం పాఠ్య పొడవుకు అనులోమంగా పెరుగుతుందని ఎన్విడియా నీమోట్రాన్-H పత్రం చెబుతోంది. డీప్‌సీక్ V4.1-ఫ్లాష్‌పై మా వ్యాసం కేవీ కాష్‌ను వివరంగా చెబుతుంది. ఐబీఎం అదే విషయాన్ని మరోలా చెబుతుంది: ఇన్‌పుట్ పొడవు రెట్టింపైతే, ట్రాన్స్‌ఫార్మర్ మొత్తం ఇన్‌పుట్‌పై నాలుగు రెట్లు లెక్కలు చేయాలి.

స్థిర పరిమాణపు నోట్‌బుక్

స్థిర పరిమాణంలో ఒకే నోట్‌బుక్ ఉపయోగించడానికి అనుమతి ఉన్న ఒక పాఠకుడిని ఊహించండి. ప్రతి పదం తర్వాత, పాఠకుడు ఏం రాయాలో, ఏం తుడిపేయాలో నిర్ణయిస్తాడు, పాఠ్యాన్ని మళ్లీ ఎప్పుడూ చూడడు. నోట్‌బుక్ ఎప్పుడూ పెరగదు, కాబట్టి పాఠ్యం పది పదాలైనా మిలియన్ పదాలైనా ప్రతి కొత్త పదానికి శ్రమ ఒకటే. మూల్యం ఏమిటంటే, నోట్‌బుక్ ఉంచుకోనిది పోయినట్లే.

ఆ పోలిక ఈ వ్యాసం సొంతం. గు, డావో దాన్ని తమ మాంబా పత్రంలో సందర్భాన్ని చిన్న స్థితిగా కుదించడంగా చెబుతారు: అటెన్షన్ సందర్భాన్ని అసలు కుదించదు కాబట్టి ప్రభావవంతమైనదీ, అసమర్థమైనదీ అని వారు రాస్తారు, పరిమిత స్థితి ఉన్న పునరావృత మోడల్ సమర్థమైనది కానీ ఆ స్థితి సందర్భాన్ని ఎంత బాగా పట్టుకుంటుందనే దానితో పరిమితమైంది. స్టేట్-స్పేస్ మోడల్‌లో “స్థితి” అంటే నోట్‌బుక్.

2021లో S4: చాలా పొడవైన క్రమాలను చేరే స్టేట్-స్పేస్ లేయర్లు

స్టేట్-స్పేస్ మోడళ్లు నియంత్రణ ఇంజనీరింగ్ నుంచి వచ్చాయి, 2021 నాటికి వాటికి తెలిసిన బలహీనత ఉంది. 2021 అక్టోబర్ 31న పోస్ట్ చేసిన తమ S4 పత్ర సారాంశంలో, సంప్రదాయ మోడళ్లు “10000 లేదా అంతకంటే ఎక్కువ దశల చాలా పొడవైన క్రమాలకు విస్తరించడానికి ఇబ్బంది పడతాయి” అని, మునుపటి స్టేట్-స్పేస్ పద్ధతి సాధారణంగా వాడటానికి గణన, మెమరీలో చాలా ఖరీదైనదని గు, గోయెల్, రే (స్టాన్‌ఫోర్డ్) రాశారు. S4 లేయర్‌ను అమర్చే విధానాన్ని మార్చడంతో దాన్ని చాలా సమర్థంగా లెక్కించడం సాధ్యమైంది.

డేటా ఆగ్మెంటేషన్ లేకుండా సీక్వెన్షియల్ CIFAR-10లో (ఒక పొడవైన క్రమంగా చదివే చిత్ర వర్గీకరణ పరీక్ష) 91 శాతం ఖచ్చితత్వాన్ని, పెద్ద 2-D రెస్‌నెట్‌కు సమానంగా, రచయితలు నివేదించారు. 16,000 పొడవు క్రమాలున్న, వారి మాటల్లో గత పని అంతా విఫలమైన పాత్-X పనిని పరిష్కరించినట్లు, చిత్ర, భాషా మోడలింగ్ పనుల్లో ట్రాన్స్‌ఫార్మర్ల కంటే 60 రెట్లు వేగంగా జనరేషన్ చేస్తూ నాణ్యత అంతరంలో చాలా భాగాన్ని మూసివేసినట్లు కూడా నివేదించారు. ఇవి రచయితల ఫలితాలు.

2023లో మాంబా: ఏం ఉంచుకోవాలో మోడలే ఎంచుకునేలా చేయడం

S4 లేయర్ ప్రతి ఇన్‌పుట్‌కు ఒకే స్థిర నియమాలను వర్తింపజేసింది. గు, డావో చేసిన మార్పు లేయర్ పారామీటర్లను ప్రస్తుత ఇన్‌పుట్‌పై ఆధారపడేలా చేయడం, తద్వారా మోడల్ క్రమం వెంట వారి మాటల్లో “సమాచారాన్ని ఎంపిక చేసి ముందుకు పంపవచ్చు లేదా మర్చిపోవచ్చు”. ఈ పత్రం దీన్ని జీపీయూపై (గ్రాఫిక్స్ ప్రాసెసర్, చాలా ఏఐ పనిని నడిపే చిప్) లేయర్‌ను సమర్థంగా లెక్కించే హార్డ్‌వేర్-అవగాహన అల్గారిథమ్‌తో, అటెన్షన్‌నూ, సాధారణ ఫీడ్-ఫార్వర్డ్ బ్లాక్‌లనూ వాడని సరళీకృత నెట్‌వర్క్‌తో జతచేస్తుంది.

శిక్షణలో మెమరీ, గణన క్రమం పొడవుతో రేఖీయంగా పెరుగుతాయని, మునుపటి అంశాల కాష్ లేనందున జనరేషన్‌లో ప్రతి దశ స్థిర సమయం తీసుకుంటుందని పత్రం నివేదిస్తుంది. 2,048 టోకెన్ల ప్రాంప్ట్, 128 రూపొందించిన టోకెన్లతో ఒక A100 80 జీబీ జీపీయూపై నడిపిన వేగ పరీక్షలో, కేవీ కాష్ లేనందున చాలా పెద్ద బ్యాచ్‌లను వాడగలగడం కొంత కారణంగా, మాంబా సమాన పరిమాణ ట్రాన్స్‌ఫార్మర్ కంటే 4 నుంచి 5 రెట్ల ఇన్‌ఫరెన్స్ త్రూపుట్‌ను (సెకనుకు రూపొందే పదాలు) చేరింది. సారాంశం దీన్ని 5 రెట్లకు రౌండ్ చేస్తుంది. తమ 3 బిలియన్ పారామీటర్ల మాంబా, వారి పరీక్షల్లో, అదే పరిమాణపు ట్రాన్స్‌ఫార్మర్లను ఓడించి, రెట్టింపు పరిమాణం ఉన్నవాటితో సమానంగా నిలిచిందని కూడా రచయితలు నివేదిస్తారు. వారు కోడ్‌ను, శిక్షణ పొందిన చెక్‌పాయింట్‌లను విడుదల చేశారు.

2024లో మాంబా-2: అటెన్షన్, స్టేట్-స్పేస్ మోడళ్లు దగ్గరి బంధువులని తేలింది

డావో, గు రెండో పత్రం, 2024 మే 31న “ట్రాన్స్‌ఫార్మర్లు SSMలు” అనే పేరుతో పోస్ట్ చేసినది, ఈ రెండు కుటుంబాలు దగ్గరి సంబంధం ఉన్నవని వాదిస్తుంది. వారి “స్టేట్ స్పేస్ డ్యూయాలిటీ” చట్రం స్టేట్-స్పేస్ మోడళ్లను, అటెన్షన్ వేరియంట్లను నిర్మాణాత్మక మాత్రికల తరగతి ద్వారా కలుపుతుంది. ఆచరణాత్మక ఫలితం మాంబా-2, దీని ప్రధాన లేయర్ మాంబా లేయర్ కంటే 2 నుంచి 8 రెట్లు వేగమని రచయితలు చెబుతారు, ఇది చాలా పెద్ద నడుస్తున్న సారాంశాన్ని పట్టుకోగలదు. ఓపెన్ పాఠ్య సేకరణ అయిన పైల్‌లోని 300 బిలియన్ టోకెన్లపై శిక్షణ పొందిన 2.7 బిలియన్ పారామీటర్ల మాంబా-2, అదే డేటాపై శిక్షణ పొందిన అసలు మాంబా 2.8B, పైథియా 2.8B, 6.9B మోడళ్లను అధిగమించిందని వారు నివేదిస్తారు.

నోట్‌బుక్ ఒక్కటే ఎందుకు చాలదు

స్థిర నోట్‌బుక్ వివరాలను కోల్పోవచ్చు, అందుకే హైబ్రిడ్‌లు కొంత అటెన్షన్‌ను ఉంచుకుంటాయి. జంబా పత్రం దీన్ని నేరుగా పరీక్షించింది. 1.3 బిలియన్ పారామీటర్లు, 250 బిలియన్ శిక్షణ టోకెన్ల వద్ద, ఒక స్వచ్ఛ అటెన్షన్ మోడల్, ఒక స్వచ్ఛ మాంబా మోడల్, ఒక మిశ్రమం, సినిమా సమీక్షలను సానుకూలం లేదా ప్రతికూలం అని లేబుల్ చేసే పరీక్ష అయిన IMDBలో ఇలా స్కోర్ చేశాయి.

మోడల్IMDBQuACNarrativeQA
అటెన్షన్ మాత్రమే84.127.945.8
మాంబా మాత్రమే48.820.227.7
అటెన్షన్, మాంబా కలిపినది90.926.643.7

QuAC, NarrativeQA ప్రశ్న-జవాబు పరీక్షలు. స్వచ్ఛ మాంబా మోడల్ IMDBలో అనుమతించిన రెండు లేబుళ్లకు బదులు “Very Good” లేదా “3/10” వంటి సమాధానాలు ఇస్తూ తరచూ సమాధాన ఫార్మాట్‌ను ఉల్లంఘించిందని జంబా రచయితలు నివేదిస్తారు, దీన్ని వారు ఇన్-కాంటెక్స్ట్ లెర్నింగ్‌తో, అంటే ప్రాంప్ట్‌లోని ఉదాహరణల నుంచి ఒక పనిని నేర్చుకునే సామర్థ్యంతో, ముడిపెడతారు. 50 బిలియన్ టోకెన్ల తర్వాత 7 బిలియన్ పారామీటర్ల వద్ద, స్వచ్ఛ మాంబా “చాలా పోటీగా” ఉన్నా అటెన్షన్ కంటే కొద్దిగా వెనుకబడిందని, మిశ్రమ మోడల్ రెంటి కంటే ముందుందని వారు కనుగొన్నారు. స్వచ్ఛ స్టేట్-స్పేస్ మోడళ్లు ఇన్-కాంటెక్స్ట్ లెర్నింగ్‌లో తక్కువగా రాణిస్తాయని జాంబా2 నివేదిక, ఐబీఎం ప్రకటన కూడా అదే విషయాన్ని చెబుతాయి.

హైబ్రిడ్‌కు ఎంత అటెన్షన్ అవసరమో మాంబా-2 పత్రం పరీక్షించింది. 48 లేయర్లున్న 350 మిలియన్ పారామీటర్ల మోడల్‌పై, పెర్ప్లెక్సిటీ (మోడల్ నిజమైన పాఠ్యంతో ఎంత ఆశ్చర్యపోతుందో చెప్పే స్కోర్, తక్కువ ఉంటే మెరుగు) స్వచ్ఛ మాంబా-2కు 8.60, పూర్తి ట్రాన్స్‌ఫార్మర్ రెసిపీకి 8.68, ఆరు అటెన్షన్ లేయర్లతో 8.26. సుమారు 10 శాతం లేయర్లు అటెన్షన్‌గా ఉంటే ఉత్తమంగా పనిచేసిందని రచయితలు కనుగొన్నారు. స్టేట్-స్పేస్ లేయర్లు సాధారణ క్రమ ప్రాసెసింగ్‌ను చూసుకుంటాయని, అటెన్షన్ లేయర్లు మోడల్ అంతటినీ తన స్థితిలోకి నొక్కేయాల్సి రాకుండా మునుపటి టోకెన్లకు తిరిగి వెళ్లగల లుకప్‌గా పనిచేస్తాయని వారు ఒక ఊహగా సూచిస్తారు.

తయారీదారుల సొంత మాటల్లో నాలుగు హైబ్రిడ్‌లు

ప్రతి మూలం పేర్కొన్న అటెన్షన్ వాటాను పట్టిక ఇస్తుంది. మూలాలు లేయర్లను వేర్వేరుగా లెక్కిస్తాయి (ఉదాహరణకు నీమోట్రాన్-H ఫీడ్-ఫార్వర్డ్ లేయర్లను విడిగా జాబితా చేస్తుంది), కాబట్టి వాటాలు దగ్గరివే కానీ ఒకేలాంటి కొలతలు కావు.

మోడల్తేదీస్టాక్‌లో అటెన్షన్, మూలం చెప్పినట్లు
Jamba (AI21)2024 మార్చి 28ప్రతి 7 మాంబా లేయర్లకు 1 అటెన్షన్ లేయర్
Zamba2 (Zyphra)2024 నవంబర్ 22బరువులను తిరిగి వాడే ఒకటి లేదా రెండు షేర్డ్ అటెన్షన్ బ్లాక్‌లతో మాంబా-2 వెన్నెముక
Nemotron-H (NVIDIA)2025 ఏప్రిల్ 4సుమారు 8 శాతం లేయర్లు: 8B మోడల్‌లో 52లో 4, 56Bలో 118లో 10
Granite 4.0-H (IBM)2025 అక్టోబర్ 2మూడు హైబ్రిడ్ పరిమాణాలన్నింటిలో 4 అటెన్షన్, 36 మాంబా-2 లేయర్లు, 9 కి 1 నిష్పత్తి

జంబా అటెన్షన్, మాంబా లేయర్లను ఇంటర్‌లీవ్ చేసి మిక్స్చర్ ఆఫ్ ఎక్స్‌పర్ట్స్‌ను జోడిస్తుంది (ప్రతి పదాన్ని కొన్ని ఉప-నెట్‌వర్క్‌లకు పంపే డిజైన్, మా వివరణలో ఉంది). విడుదలైన మోడల్‌కు మొత్తం 52 బిలియన్ పారామీటర్లు, ఒకేసారి 12 బిలియన్ క్రియాశీలం, అపాచీ 2.0 లైసెన్స్ కింద 256,000 టోకెన్ల కాంటెక్స్ట్‌కు మద్దతు ఉంది. పత్రం పట్టిక 16-బిట్ సంఖ్యల్లో 256,000 టోకెన్ల వద్ద కేవీ కాష్‌ను జంబాకు 4 జీబీ, మిక్స్‌ట్రాల్‌కు 32 జీబీ, లామా-2 6.7Bకి 128 జీబీగా చూపుతుంది. నాలుగు A100 జీపీయూలపై 128,000 టోకెన్ల వద్ద మిక్స్‌ట్రాల్ త్రూపుట్‌కు 3 రెట్లు ఉందని కూడా రచయితలు నివేదిస్తారు. జంబాను మొదటి ఉత్పత్తి-స్థాయి మాంబా ఆధారిత మోడల్ అని ఏఐ21 పిలుస్తుంది, ఇది కంపెనీ సొంత వర్ణన.

జైఫ్రా జాంబా2 1.2, 2.7, 7.4 బిలియన్ పారామీటర్ల పరిమాణాల్లో వస్తుంది. వెయిట్స్ అపాచీ 2.0 కింద ఓపెన్ అని, శిక్షణ డేటాసెట్ (Zyda-2) కూడా ఓపెన్ అని, మోడళ్లు మూడు ట్రిలియన్ టోకెన్ల వరకు శిక్షణ పొందాయని నివేదిక చెబుతోంది. ఆలస్యం, త్రూపుట్, మెమరీ వినియోగంలో లాభాలతో తమ మోడళ్లు తమ పరిమాణంలోని ప్రముఖ ఓపెన్-వెయిట్స్ మోడళ్లతో సమానంగా లేదా మెరుగ్గా ఉన్నాయని జైఫ్రా చెబుతోంది, ఇది కంపెనీ సొంత పోలిక.

చాలా అటెన్షన్ లేయర్లను, ఒక్కో రూపొందించిన టోకెన్‌కు స్థిర మెమరీ చాలే మాంబా లేయర్లతో భర్తీ చేసినట్లు ఎన్విడియా నీమోట్రాన్-H పత్రం చెబుతోంది. సమాన ఖచ్చితత్వంతో సమాన పరిమాణ ట్రాన్స్‌ఫార్మర్ల కంటే 3 రెట్ల వరకు వేగవంతమైన ఇన్‌ఫరెన్స్‌ను ఎన్విడియా నివేదిస్తుంది. పరీక్ష H100 జీపీయూలపై 65,536 టోకెన్ల ఇన్‌పుట్, 1,024 రూపొందించిన టోకెన్లను, నీమోట్రాన్-H కోసం ఎన్విడియా సొంత ప్రారంభ అమలును, పోలిక మోడళ్లకు vLLM సర్వింగ్ సాఫ్ట్‌వేర్‌ను వాడింది. 56B మోడల్‌కు ఎన్విడియా Qwen-2.5-72B, Llama-3.1-70B కంటే ఒక్కో జీపీయూకు 2.4 రెట్ల అవుట్‌పుట్‌ను కొలిచింది. ట్రాన్స్‌ఫార్మర్లు సంవత్సరాలుగా భారీగా ఆప్టిమైజ్ అయ్యాయని, నీమోట్రాన్-Hకు మరిన్ని వేగ పెరుగుదలలను ఆశిస్తున్నామని పత్రం జోడిస్తుంది.

ఎన్విడియా తర్వాతి నీమోట్రాన్ 3 కుటుంబం మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ హైబ్రిడ్ మాంబా-ట్రాన్స్‌ఫార్మర్ డిజైన్‌ను వాడుతుందని దాని కుటుంబ పేజీ (2025 డిసెంబర్ 15న ప్రచురించింది), వైట్ పేపర్ (2025 డిసెంబర్ 24) చెబుతున్నాయి. పేజీ 10 లక్షల టోకెన్ల వరకు కాంటెక్స్ట్‌ను జాబితా చేస్తుంది, నానో మోడల్‌ను మొత్తం 31.6 బిలియన్ పారామీటర్లు, 3.2 బిలియన్ క్రియాశీలంగా వర్ణిస్తుంది. ఒక H200 జీపీయూపై 8,000 టోకెన్లు ఇన్, 16,000 అవుట్ వద్ద Qwen3-30B-A3B కంటే 3.3 రెట్ల త్రూపుట్‌ను ఎన్విడియా నివేదిస్తుంది. 2026 నవంబర్ 19న చదివిన పేజీలో నీమోట్రాన్ 3 అల్ట్రా విడుదలైందని చెప్పే నవీకరణ ఉంది, దానికి తేదీ ఇవ్వలేదు.

ఐబీఎం గ్రానైట్ 4.0కు మూడు హైబ్రిడ్ మోడళ్లు ఉన్నాయి: H-స్మాల్ (32 బిలియన్ పారామీటర్లు, 9 బిలియన్ క్రియాశీలం), H-టైనీ (7 బిలియన్, 1 బిలియన్ క్రియాశీలం), H-మైక్రో (3 బిలియన్, డెన్స్), అలాగే హైబ్రిడ్‌లను ఇంకా నడపలేని ప్లాట్‌ఫామ్‌ల కోసం 3 బిలియన్ పారామీటర్ల సంప్రదాయ ట్రాన్స్‌ఫార్మర్. మాంబా టోకెన్లను క్రమంలో చదువుతుంది కాబట్టి, పదాల క్రమాన్ని ట్రాన్స్‌ఫార్మర్‌కు చెప్పే అదనపు సంకేతమైన స్థాన ఎన్‌కోడింగ్‌ను హైబ్రిడ్‌లు వాడవని ఐబీఎం చెబుతోంది. హైబ్రిడ్ డిజైన్ సామర్థ్యానికి దోహదం చేస్తుందని, కానీ గ్రానైట్ 3.3 కంటే గ్రానైట్ 4.0 ఖచ్చితత్వ లాభాల్లో ఎక్కువ భాగం మెరుగైన శిక్షణ డేటా, పద్ధతుల నుంచి వచ్చాయని, దాని సంప్రదాయ 3B మోడల్ కూడా పాత 8B మోడల్‌ను ఓడిస్తుందని ఐబీఎం చెబుతోంది. 70 శాతం మెమరీ గణాంకం సంప్రదాయ ట్రాన్స్‌ఫార్మర్ మోడళ్లపై ఐబీఎం సొంత వాదన.

Sarvam Saaras V4

Sarvam Saaras V4ను 2026 సెప్టెంబర్ 25న ప్రచురించింది. వాక్ గుర్తింపు వ్యవస్థ ఆడియో ఎన్‌కోడర్‌ను, 3 బిలియన్ పారామీటర్ల భాషా-మోడల్ డీకోడర్‌తో జతచేస్తుందని, దాన్ని ఇంటి లోపలే మొదటి నుంచి శిక్షణ ఇచ్చిన “హైబ్రిడ్ స్టేట్ స్పేస్ మోడల్”గా వర్ణించిందని దాని పోస్ట్ చెబుతోంది. పోస్ట్ మాంబాను కానీ ఖచ్చితమైన లేయర్ డిజైన్‌ను కానీ పేర్కొనదు, Saaras V4ను REST ఏపీఐ, బ్యాచ్ ఏపీఐ ద్వారా అందిస్తుంది, మోడల్ వెయిట్స్ విడుదలను వర్ణించదు. Saaras V4పై మా వ్యాసం దాని 22 భాషలను, పరీక్ష ఫలితాలను కవర్ చేస్తుంది.

మూలాలు చూపనివి

పైన ఇచ్చిన ప్రతి వేగ గణాంకం తయారీదారు సొంతం, వేరే మోడల్‌పై, వేరే హార్డ్‌వేర్‌పై, వేర్వేరు బేస్‌లైన్‌లతో కొలిచారు: మాంబా పత్రంలో 5 రెట్లు, మాంబా-2 లేయర్‌కు 2 నుంచి 8 రెట్లు, నీమోట్రాన్-Hలో 3 రెట్లు, నీమోట్రాన్ 3 నానోకు 3.3 రెట్లు. అవి ఒకదానితో ఒకటి పోల్చదగినవి కావు, ఈ వ్యాసం వాటిని కూడదు.

తెరిచిన పేజీల్లో ఏవీ ఒక హైబ్రిడ్‌కు, నేటి అతిపెద్ద మోడళ్ల స్థాయిలో స్వచ్ఛ ట్రాన్స్‌ఫార్మర్‌కు మధ్య స్వతంత్ర ముఖాముఖి పోలికను ఇవ్వవు, మరో ల్యాబ్ చాట్ ఉత్పత్తి మాంబా లేయర్లను వాడుతోందని ఏవీ చెప్పవు. Saaras V4 నిర్మాణం Sarvam తన సొంత వ్యవస్థపై ఇచ్చిన వర్ణన. గ్రానైట్ 4.0 ప్రకటన దాని మోడళ్లు 512,000 టోకెన్ల వరకు పొడవైన నమూనాలపై శిక్షణ పొందాయని, 128,000 టోకెన్ల వరకు పనులపై ధ్రువీకరించామని చెబుతోంది.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
ఎనిమిది మంది గూగుల్ రచయితలు 2017 జూన్ 12న ట్రాన్స్‌ఫార్మర్ పేపర్‌ను పోస్ట్ చేశారు; దాని పెద్ద మోడల్ ఎనిమిది జీపీయూలపై 3.5 రోజులు శిక్షణ పొంది ఇంగ్లీష్ నుంచి జర్మన్‌కు 28.4 BLEU సాధించింది
నేటి చాట్‌బాట్ల వెనుక ఉన్న డిజైన్‌ను పేపర్ సొంత పట్టికలతో, నదిని చూడాల్సిన పదం గురించి గూగుల్ ఇచ్చిన ఉదాహరణతో వివరించే కథనం. 2017 డిజైన్‌లో ఏ భాగాలను తర్వాతి మోడళ్లు ఉంచాయో, మార్చాయో, వదిలాయో కూడా ఇందులో ఉంది.
2026 సెప్టెంబర్ 10న విడుదలైన 552 బిలియన్ పారామీటర్ల ఓపెన్-వెయిట్ మోడల్ డీప్‌సీక్ V4.1-Flash, ప్రతి టోకెన్‌కు మెమరీ క్యాష్‌ను 890 బైట్లకు తగ్గించింది, ఇది దాని ముందటి మోడల్ క్యాష్‌లో సుమారు నాలుగో వంతు
సుదీర్ఘ సంభాషణ గురించి మోడల్‌కు ఉండే స్వల్పకాలిక జ్ఞాపకాన్ని నిలుపుకోవడం ఖరీదైనది. డీప్‌సీక్ సెప్టెంబర్ విడుదల దాన్ని డిజైన్ ద్వారానే కుదిస్తుంది, మోడల్ ఇంకా ఎక్కడ వెనుకబడి ఉందో దాని సొంత నివేదికే చెబుతోంది. ఇక్కడ యంత్రాంగం, 2024 నుంచి కాలక్రమం, బయటివారు ఏమి తనిఖీ చేశారో ఉన్నాయి.
సర్వమ్ 105 బిలియన్ పారామీటర్ల మోడల్ ప్రతి టోకెన్‌కు 10.3 బిలియన్‌తోనే లెక్కిస్తుంది; 1991 పత్రం నుంచి మిక్స్‌ట్రల్, డీప్‌సీక్ వరకు సాగిన మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ డిజైన్ దీని వెనుక ఉంది
ఒక చిన్న రౌటర్ ప్రతి పదాన్ని 128 ఉప-నెట్‌వర్క్‌లలో కొన్నింటికే పంపుతుంది, కాబట్టి ఏ ఒక్క పదానికైనా మోడల్‌లో చాలా భాగం ఖాళీగా ఉంటుంది. ఈ డిజైన్ ఎక్కడి నుంచి వచ్చింది, మిక్స్‌ట్రల్, డీప్‌సీక్, సర్వమ్ దీన్ని ఎలా వాడతాయి, ఇది దేన్ని ఆదా చేయదు.
← అన్ని వ్యాసాలు