অলঙ্করণ: tuput
বাংলা
আইবিএমের গ্র্যানাইট ৪.০-এইচ-স্মলে আছে ৩৬টি মাম্বা-২ স্তর আর মাত্র ৪টি অ্যাটেনশন স্তর, আর আইবিএম বলছে এই নকশা দীর্ঘ ইনপুটের জন্য দরকারি মেমরি ৭০ শতাংশের বেশি কমায়। ধারণাটি এসেছে ২০২১ সালের এস৪ নামের একটি গবেষণাপত্র থেকে, ২০২৩ সালের মাম্বা হয়ে এআই২১, জাইফ্রা, এনভিডিয়া, আইবিএম আর সর্বমের হাইব্রিড পর্যন্ত।
আইবিএমের গ্র্যানাইট ৪.০-এইচ-স্মল ২০২৫ সালের ২ অক্টোবর অ্যাপাচি ২.০ লাইসেন্সে প্রকাশিত হয়। এতে আছে ৩২ বিলিয়ন প্যারামিটার (প্রশিক্ষণে মডেল যে সমন্বয়যোগ্য সংখ্যা শেখে), আর এর হাগিং ফেস মডেল কার্ড তালিকাভুক্ত করেছে ৩৬টি মাম্বা-২ স্তর আর মাত্র ৪টি অ্যাটেনশন স্তর। আইবিএম বলছে, ইনপুট দীর্ঘ হলে বা একসঙ্গে অনেক ব্যবহারকারীকে সেবা দিতে হলে প্রচলিত ট্রান্সফর্মার মডেলের তুলনায় এই নকশায় ৭০ শতাংশের বেশি কম মেমরি লাগে।
মাম্বা ভাষা মডেল গড়ার এমন একটি উপায়, যা আগের প্রতিটি শব্দ আবার পড়ে না। আলবার্ট গু আর ত্রি দাও এটি প্রকাশ করেন ২০২৩ সালের ১ ডিসেম্বর, আর একে কয়েকটি অ্যাটেনশন স্তরের সঙ্গে মিশিয়ে এখন মডেল আসছে এআই২১, জাইফ্রা, এনভিডিয়া, আইবিএম থেকে এবং, বাক্-শনাক্তকরণের জন্য, ভারতের সর্বম থেকে। এই লেখা প্রতিটি ধাপের পেছনের গবেষণাপত্র ও নির্মাতার পাতা অনুসরণ করে, এবং গতি বা মেমরির যে সংখ্যা নির্মাতার নিজের তা চিহ্নিত করে।
লেখা লম্বা হলে অ্যাটেনশনের খরচ
বেশির ভাগ চ্যাটবট ট্রান্সফর্মার, আর ট্রান্সফর্মারের মূল হলো অ্যাটেনশন, যে ধাপে প্রতিটি শব্দকে তার আগের শব্দগুলোর সঙ্গে তুলনা করা হয়। ২০১৭ সালের ট্রান্সফর্মার গবেষণাপত্র নিয়ে আমাদের ব্যাখ্যায় আছে এটি কীভাবে কাজ করে।
লেখা বাড়লে খরচ চোখে পড়ে। এনভিডিয়ার নেমোট্রন-এইচ গবেষণাপত্র বলছে, একটি টোকেন (একটি শব্দ বা শব্দের টুকরো) তৈরি করতে একটি সেলফ-অ্যাটেনশন স্তর যে কাজ করে তা এ পর্যন্ত দেখা টোকেনের সংখ্যার সঙ্গে বাড়ে, আর আগের ফলাফলের একটি ভাণ্ডারও, কেভি ক্যাশ, রাখতে হয়, যার আকার লেখার দৈর্ঘ্যের সমানুপাতে বাড়ে। ডিপসিক ভি৪.১-ফ্ল্যাশ নিয়ে আমাদের লেখায় কেভি ক্যাশ বিস্তারিত ব্যাখ্যা করা হয়েছে। আইবিএম একই কথা বলেছে আরেকভাবে: ইনপুটের দৈর্ঘ্য দ্বিগুণ হলে ট্রান্সফর্মারকে পুরো ইনপুটের ওপর চার গুণ হিসাব করতে হয়।
নির্দিষ্ট আকারের একটি খাতা
ভাবুন, একজন পাঠককে একটি নির্দিষ্ট আকারের খাতা দেওয়া হয়েছে। প্রতিটি শব্দের পর পাঠক ঠিক করেন কী লিখবেন আর কী মুছবেন, এবং লেখাটির দিকে আর ফিরে তাকান না। খাতা কখনও বড় হয় না, তাই লেখা দশ শব্দের হোক বা দশ লক্ষের, প্রতিটি নতুন শব্দে পরিশ্রম সমান। দাম হলো, খাতা যা ধরে রাখেনি তা হারিয়ে যায়।
এই তুলনাটি এই লেখারই নিজের। গু আর দাও তাঁদের মাম্বা গবেষণাপত্রে এটিকে দেখিয়েছেন প্রেক্ষাপটকে একটি ছোট অবস্থায় সংকুচিত করা হিসেবে: তাঁরা লিখেছেন, অ্যাটেনশন কার্যকর অথচ অদক্ষ, কারণ সে প্রেক্ষাপট একেবারেই সংকুচিত করে না, আর সসীম অবস্থাওয়ালা রিকারেন্ট মডেল দক্ষ কিন্তু সীমিত সেই অবস্থা প্রেক্ষাপটকে কত ভালো ধরে রাখে তা দিয়ে। স্টেট-স্পেস মডেলে “অবস্থা” হলো সেই খাতা।
২০২১ সালের এস৪: যে স্টেট-স্পেস স্তর অনেক দীর্ঘ অনুক্রমে পৌঁছায়
স্টেট-স্পেস মডেল এসেছে নিয়ন্ত্রণ প্রকৌশল থেকে, আর ২০২১ সালের মধ্যে তাদের একটি পরিচিত দুর্বলতা ছিল। গু, গোয়েল ও রে (স্ট্যানফোর্ড) তাঁদের এস৪ গবেষণাপত্রের অ্যাবস্ট্র্যাক্টে, যা প্রকাশিত হয় ২০২১ সালের ৩১ অক্টোবর, লিখেছেন, প্রচলিত মডেল “১০০০০ বা তার বেশি ধাপের অনেক দীর্ঘ অনুক্রমে মাপ বাড়াতে হিমশিম খায়”, আর আগের স্টেট-স্পেস পদ্ধতি সাধারণভাবে ব্যবহারের জন্য হিসাব ও মেমরিতে খুব ব্যয়বহুল ছিল। এস৪ স্তরটি সাজানোর ধরন বদলেছে, যাতে তা অনেক দক্ষভাবে হিসাব করা যায়।
লেখকেরা জানাচ্ছেন, ডেটা অগমেন্টেশন ছাড়া সিকুয়েন্সিয়াল সিফার-১০ (একটি ছবি-শ্রেণিবিভাগের পরীক্ষা, যা একটি দীর্ঘ অনুক্রম হিসেবে পড়া হয়)-এ ৯১ শতাংশ নির্ভুলতা, যা একটি বড় ২-ডি রেসনেটের সমান। তাঁরা আরও জানাচ্ছেন, পাথ-এক্স সমাধান করেছেন, ১৬,০০০ দৈর্ঘ্যের অনুক্রমের একটি কাজ, যাতে, তাঁদের কথায়, আগের সব কাজ ব্যর্থ হয়, আর ছবি ও ভাষা মডেলিংয়ের কাজে ট্রান্সফর্মারের চেয়ে ৬০ গুণ দ্রুত উৎপাদন, গুণমানের বড় ফাঁক ঘুচিয়ে। এগুলো লেখকদের ফল।
২০২৩ সালের মাম্বা: মডেলকে বাছতে দেওয়া কী রাখবে
এস৪ স্তর প্রতিটি ইনপুটে একই স্থির নিয়ম প্রয়োগ করত। গু আর দাওয়ের পরিবর্তন ছিল স্তরের প্যারামিটারকে বর্তমান ইনপুটের ওপর নির্ভর করানো, যাতে মডেল, তাঁদের কথায়, অনুক্রম ধরে “বেছে বেছে তথ্য এগিয়ে নিতে বা ভুলে যেতে” পারে। গবেষণাপত্র এর সঙ্গে জুড়েছে একটি হার্ডওয়্যার-সচেতন অ্যালগরিদম, যা জিপিইউতে (গ্রাফিক্স প্রসেসর, যে চিপে বেশির ভাগ এআইয়ের কাজ চলে) স্তরটি দক্ষভাবে হিসাব করে, আর একটি সরল নেটওয়ার্ক, যাতে অ্যাটেনশনও নেই, সচরাচর ফিড-ফরোয়ার্ড ব্লকও নেই।
গবেষণাপত্র জানাচ্ছে, প্রশিক্ষণে মেমরি আর হিসাব অনুক্রমের দৈর্ঘ্যের সঙ্গে রৈখিকভাবে বাড়ে, আর উৎপাদনের প্রতিটি ধাপে সময় ধ্রুবক, কারণ আগের উপাদানের কোনো ক্যাশ নেই। একটি এ১০০ ৮০ জিবি জিপিইউতে ২,০৪৮ টোকেনের প্রম্পট আর ১২৮টি তৈরি করা টোকেন নিয়ে চালানো গতির পরীক্ষায় মাম্বা সমান আকারের ট্রান্সফর্মারের ৪ থেকে ৫ গুণ ইনফারেন্স থ্রুপুটে (প্রতি সেকেন্ডে তৈরি শব্দ) পৌঁছেছে, আংশিক কারণ কেভি ক্যাশ না থাকায় সেটি অনেক বড় ব্যাচ ব্যবহার করতে পেরেছে। অ্যাবস্ট্র্যাক্ট একে গোল করে ৫ গুণ লিখেছে। লেখকেরা এ-ও জানান, তাঁদের ৩ বিলিয়ন প্যারামিটারের মাম্বা তাঁদের পরীক্ষায় একই আকারের ট্রান্সফর্মারকে হারিয়েছে এবং দ্বিগুণ আকারের ট্রান্সফর্মারের সমান ফল করেছে। তাঁরা কোড ও প্রশিক্ষিত চেকপয়েন্ট প্রকাশ করেছেন।
২০২৪ সালের মাম্বা-২: অ্যাটেনশন আর স্টেট-স্পেস মডেল ঘনিষ্ঠ আত্মীয়
দাও আর গু-র দ্বিতীয় গবেষণাপত্র, ২০২৪ সালের ৩১ মে “ট্রান্সফর্মারস আর এসএসএমস” নামে প্রকাশিত, যুক্তি দেয় যে দুটি পরিবার ঘনিষ্ঠভাবে সম্পর্কিত। তাঁদের “স্টেট স্পেস ডুয়ালিটি” কাঠামো স্টেট-স্পেস মডেল আর অ্যাটেনশনের রূপভেদগুলোকে জুড়েছে কাঠামোবদ্ধ ম্যাট্রিক্সের একটি শ্রেণির মাধ্যমে। ব্যবহারিক ফল মাম্বা-২, যার মূল স্তর, লেখকেরা বলছেন, মাম্বার চেয়ে ২ থেকে ৮ গুণ দ্রুত, এবং যা অনেক বড় একটি চলমান সারাংশ ধরে রাখতে পারে। তাঁরা জানাচ্ছেন, পাইল, একটি উন্মুক্ত লেখা-সংগ্রহ, থেকে ৩০০ বিলিয়ন টোকেনে প্রশিক্ষিত একটি ২.৭ বিলিয়ন প্যারামিটারের মাম্বা-২ একই তথ্যে প্রশিক্ষিত মূল মাম্বা ২.৮বি আর পাইথিয়া ২.৮বি ও ৬.৯বি মডেলকে ছাড়িয়ে গেছে।
কেন খাতা একা যথেষ্ট নয়
একটি নির্দিষ্ট খাতা খুঁটিনাটি হারাতে পারে, আর সে কারণেই হাইব্রিডগুলো কিছু অ্যাটেনশন রাখে। জাম্বা গবেষণাপত্র সরাসরি এটি পরীক্ষা করেছে। ১.৩ বিলিয়ন প্যারামিটার আর ২৫০ বিলিয়ন প্রশিক্ষণ টোকেনে একটি খাঁটি অ্যাটেনশন মডেল, একটি খাঁটি মাম্বা মডেল আর একটি মিশ্র মডেল আইএমডিবি-তে, ফিল্মের রিভিউকে ইতিবাচক বা নেতিবাচক চিহ্নিত করার একটি পরীক্ষায়, স্কোর পেয়েছে এমন:
| মডেল | আইএমডিবি | কুয়াক | ন্যারেটিভকিউএ |
|---|---|---|---|
| শুধু অ্যাটেনশন | ৮৪.১ | ২৭.৯ | ৪৫.৮ |
| শুধু মাম্বা | ৪৮.৮ | ২০.২ | ২৭.৭ |
| অ্যাটেনশন ও মাম্বা মিশ্র | ৯০.৯ | ২৬.৬ | ৪৩.৭ |
কুয়াক আর ন্যারেটিভকিউএ প্রশ্নোত্তরের পরীক্ষা। জাম্বার লেখকেরা জানাচ্ছেন, খাঁটি মাম্বা মডেল আইএমডিবি-তে প্রায়ই উত্তরের বিন্যাস ভেঙেছে, অনুমোদিত দুটি লেবেলের বদলে “Very Good” বা “3/10”-এর মতো কিছু জবাব দিয়ে, এবং তাঁরা এটিকে যুক্ত করেছেন ইন-কনটেক্সট লার্নিংয়ের সঙ্গে, প্রম্পটের উদাহরণ থেকে একটি কাজ শিখে নেওয়ার ক্ষমতা। ৫০ বিলিয়ন টোকেনের পর ৭ বিলিয়ন প্যারামিটারে তাঁরা খাঁটি মাম্বাকে “বেশ প্রতিযোগিতামূলক” কিন্তু অ্যাটেনশনের সামান্য পেছনে পেয়েছেন, আর মিশ্র মডেলকে দুটির আগে। জাম্বা২ প্রতিবেদন ও আইবিএমের ঘোষণা একই কথা বলেছে, যে খাঁটি স্টেট-স্পেস মডেল ইন-কনটেক্সট লার্নিংয়ে কম ভালো করে।
মাম্বা-২ গবেষণাপত্র পরীক্ষা করেছে একটি হাইব্রিডের কতটা অ্যাটেনশন লাগে। ৪৮টি স্তরের ৩৫ কোটি প্যারামিটারের একটি মডেলে পারপ্লেক্সিটি (আসল লেখা দেখে মডেল কতটা অবাক হয় তার স্কোর, যেখানে কম মানে ভালো) ছিল খাঁটি মাম্বা-২-এর ৮.৬০, সর্বট্রান্সফর্মার রেসিপির ৮.৬৮ আর ছয়টি অ্যাটেনশন স্তরসহ ৮.২৬। লেখকেরা দেখেছেন, প্রায় ১০ শতাংশ স্তর অ্যাটেনশন হলে সবচেয়ে ভালো কাজ হয়। তাঁরা অনুমান হিসেবে বলছেন, স্টেট-স্পেস স্তরগুলো সাধারণ অনুক্রম প্রক্রিয়াকরণ সামলায়, আর অ্যাটেনশন স্তরগুলো কাজ করে একটি লুকআপ হিসেবে, যা আগের টোকেনে ফিরে যেতে পারে, মডেলকে সবকিছু নিজের অবস্থায় চেপে রাখতে বাধ্য করার বদলে।
নির্মাতাদের নিজের কথায় চারটি হাইব্রিড
সারণিতে আছে প্রতিটি উৎস অ্যাটেনশনের কতটা ভাগ বলেছে। উৎসগুলো স্তর গোনে ভিন্নভাবে (যেমন নেমোট্রন-এইচ ফিড-ফরোয়ার্ড স্তর আলাদা করে তালিকাভুক্ত করে), তাই ভাগগুলো কাছাকাছি, কিন্তু অভিন্ন পরিমাপ নয়।
| মডেল | তারিখ | স্তূপে অ্যাটেনশন, উৎস যেভাবে বলেছে |
|---|---|---|
| Jamba (AI21) | ২৮ মার্চ ২০২৪ | প্রতি ৭টি মাম্বা স্তরে ১টি অ্যাটেনশন স্তর |
| Zamba2 (Zyphra) | ২২ নভেম্বর ২০২৪ | মাম্বা-২ মেরুদণ্ড, এক বা দুটি যৌথ অ্যাটেনশন ব্লকসহ, যাদের ওজন পুনর্ব্যবহৃত হয় |
| Nemotron-H (NVIDIA) | ৪ এপ্রিল ২০২৫ | মোটামুটি ৮% স্তর: ৮বি মডেলে ৫২টির ৪টি, ৫৬বি-তে ১১৮টির ১০টি |
| Granite 4.0-H (IBM) | ২ অক্টোবর ২০২৫ | তিনটি হাইব্রিড আকারেই ৪টি অ্যাটেনশন ও ৩৬টি মাম্বা-২ স্তর, ৯ থেকে ১ অনুপাত |
জাম্বা অ্যাটেনশন আর মাম্বা স্তর পালাক্রমে সাজায় এবং যোগ করে মিক্সচার অব এক্সপার্টস (একটি নকশা, যাতে প্রতিটি শব্দ কয়েকটি উপ-নেটওয়ার্কে পাঠানো হয়, আমাদের ব্যাখ্যায় আছে)। প্রকাশিত মডেলে মোট ৫২ বিলিয়ন প্যারামিটার, একসঙ্গে সক্রিয় ১২ বিলিয়ন, আর অ্যাপাচি ২.০ লাইসেন্সে ২,৫৬,০০০ টোকেন প্রেক্ষাপট সমর্থিত। গবেষণাপত্রের সারণি ১৬-বিট সংখ্যায় ২,৫৬,০০০ টোকেনে কেভি ক্যাশ ধরেছে জাম্বার ৪ জিবি, মিক্সট্রালের ৩২ জিবি আর ল্লামা-২ ৬.৭বি-র ১২৮ জিবির বিপরীতে। লেখকেরা চারটি এ১০০ জিপিইউতে ১,২৮,০০০ টোকেনে মিক্সট্রালের ৩ গুণ থ্রুপুটও জানিয়েছেন। এআই২১ জাম্বাকে বলে প্রথম উৎপাদন-মানের মাম্বা-ভিত্তিক মডেল, যা কোম্পানির নিজের বর্ণনা।
জাইফ্রার জাম্বা২ আসে ১.২, ২.৭ আর ৭.৪ বিলিয়ন প্যারামিটারের আকারে। প্রতিবেদন বলছে, ওজন অ্যাপাচি ২.০-এ উন্মুক্ত, প্রশিক্ষণের তথ্যসেট (জাইডা-২)ও উন্মুক্ত, এবং মডেলগুলো প্রশিক্ষিত হয়েছে তিন ট্রিলিয়ন পর্যন্ত টোকেনে। জাইফ্রা বলছে, মডেলগুলো একই আকারের শীর্ষ ওপেন-ওয়েট মডেলের সমান বা তার চেয়ে ভালো, বিলম্ব, থ্রুপুট ও মেমরি ব্যবহারে সুবিধাসহ, যা কোম্পানির নিজের তুলনা।
এনভিডিয়ার নেমোট্রন-এইচ গবেষণাপত্র বলছে, তারা বেশির ভাগ অ্যাটেনশন স্তরের জায়গায় এনেছে মাম্বা স্তর, যাতে প্রতিটি তৈরি টোকেনে ধ্রুবক মেমরি লাগে। এনভিডিয়া জানাচ্ছে, একই আকারের ট্রান্সফর্মারের চেয়ে একই নির্ভুলতায় ৩ গুণ পর্যন্ত দ্রুত ইনফারেন্স। পরীক্ষায় ছিল ৬৫,৫৩৬ টোকেনের ইনপুট আর ১,০২৪টি তৈরি টোকেন, এইচ১০০ জিপিইউতে, নেমোট্রন-এইচের জন্য এনভিডিয়ার নিজের প্রাথমিক বাস্তবায়ন, আর তুলনার মডেলগুলোর জন্য ভিএলএলএম সার্ভিং সফটওয়্যার। ৫৬বি মডেলের জন্য এনভিডিয়া মেপেছে কিউয়েন-২.৫-৭২বি আর ল্লামা-৩.১-৭০বি-র ২.৪ গুণ প্রতি জিপিইউ আউটপুট। গবেষণাপত্র যোগ করেছে, ট্রান্সফর্মার বহু বছর ধরে ব্যাপকভাবে অপ্টিমাইজ করা হয়েছে, আর তারা নেমোট্রন-এইচের জন্য আরও গতিবৃদ্ধি আশা করে।
এনভিডিয়ার পরের নেমোট্রন ৩ পরিবার একটি মিক্সচার-অব-এক্সপার্টস হাইব্রিড মাম্বা-ট্রান্সফর্মার নকশা ব্যবহার করে, এর পরিবারের পাতা (প্রকাশিত ১৫ ডিসেম্বর ২০২৫) আর হোয়াইট পেপার (২৪ ডিসেম্বর ২০২৫) অনুযায়ী। পাতাটি ১০ লক্ষ টোকেন পর্যন্ত প্রেক্ষাপট তালিকাভুক্ত করেছে এবং ন্যানো মডেলকে বর্ণনা করেছে মোট ৩১.৬ বিলিয়ন প্যারামিটারের, ৩.২ বিলিয়ন সক্রিয়। এনভিডিয়া জানাচ্ছে, একটি এইচ২০০ জিপিইউতে ৮,০০০ টোকেন ইনপুট আর ১৬,০০০ আউটপুটে কিউয়েন৩-৩০বি-এ৩বি-র ৩.৩ গুণ থ্রুপুট। ১৯ নভেম্বর ২০২৬-এ পড়া পাতাটিতে একটি হালনাগাদ আছে, যা বলছে নেমোট্রন ৩ আলট্রা প্রকাশিত হয়েছে, কিন্তু কোনো তারিখ দেয়নি।
আইবিএমের গ্র্যানাইট ৪.০-এ তিনটি হাইব্রিড মডেল: এইচ-স্মল (৩২ বিলিয়ন প্যারামিটার, ৯ বিলিয়ন সক্রিয়), এইচ-টাইনি (৭ বিলিয়ন, ১ বিলিয়ন সক্রিয়) আর এইচ-মাইক্রো (৩ বিলিয়ন, ঘন), সঙ্গে ৩ বিলিয়ন প্যারামিটারের একটি প্রচলিত ট্রান্সফর্মার সেইসব প্ল্যাটফর্মের জন্য, যারা এখনও হাইব্রিড চালাতে পারে না। আইবিএম বলছে, হাইব্রিডগুলো কোনো পজিশনাল এনকোডিং ব্যবহার করে না, শব্দের ক্রম জানানো ট্রান্সফর্মারের সেই বাড়তি সংকেত, কারণ মাম্বা টোকেন ক্রম ধরেই পড়ে। আইবিএম এ-ও বলছে, হাইব্রিড নকশা দক্ষতায় অবদান রাখে, কিন্তু গ্র্যানাইট ৩.৩-এর তুলনায় গ্র্যানাইট ৪.০-এর নির্ভুলতার বেশির ভাগ লাভ এসেছে ভালো প্রশিক্ষণ-তথ্য ও পদ্ধতি থেকে, কারণ এর প্রচলিত ৩বি মডেলও পুরোনো ৮বি মডেলকে হারায়। ৭০ শতাংশ মেমরির সংখ্যা আইবিএমের নিজের দাবি, প্রচলিত ট্রান্সফর্মার মডেলের বিপরীতে।
সর্বমের সারাস ভি৪
সর্বম সারাস ভি৪ প্রকাশ করেছে ২০২৬ সালের ২৫ সেপ্টেম্বর। এর লেখা বলছে, বাক্-শনাক্তকরণ ব্যবস্থাটি একটি অডিও এনকোডারের সঙ্গে জুড়েছে ৩ বিলিয়ন প্যারামিটারের একটি ভাষা-মডেল ডিকোডার, যাকে বর্ণনা করা হয়েছে নিজেদের ঘরে শুরু থেকে প্রশিক্ষিত একটি “হাইব্রিড স্টেট স্পেস মডেল” হিসেবে। লেখাটি মাম্বা বা স্তরের সঠিক নকশার নাম বলেনি, সারাস ভি৪ দিয়েছে একটি রেস্ট এপিআই আর একটি ব্যাচ এপিআইয়ের মাধ্যমে, এবং মডেলের ওয়েট প্রকাশের কোনো বর্ণনা দেয়নি। সারাস ভি৪ নিয়ে আমাদের লেখায় আছে এর ২২টি ভাষা আর পরীক্ষার ফল।
উৎসগুলো যা দেখায় না
ওপরের প্রতিটি গতির সংখ্যা নির্মাতার নিজের, এবং মাপা হয়েছে আলাদা মডেলে, আলাদা হার্ডওয়্যারে, আলাদা ভিত্তিরেখার বিপরীতে: মাম্বা গবেষণাপত্রে ৫ গুণ, মাম্বা-২ স্তরের ২ থেকে ৮ গুণ, নেমোট্রন-এইচে ৩ গুণ আর নেমোট্রন ৩ ন্যানোর ৩.৩ গুণ। এগুলো একটি আরেকটির সঙ্গে তুলনীয় নয়, আর এই লেখা সেগুলো যোগ করে না।
যে পাতাগুলো খোলা হয়েছে তার কোনোটিতে আজকের সবচেয়ে বড় মডেলের মাপে একটি হাইব্রিডের সঙ্গে খাঁটি ট্রান্সফর্মারের স্বতন্ত্র সরাসরি তুলনা নেই, আর কোনোটি বলে না যে অন্য কোনো ল্যাবের চ্যাট পণ্য মাম্বা স্তর ব্যবহার করে। সারাস ভি৪-এর স্থাপত্য সর্বমের নিজের ব্যবস্থা নিয়ে নিজের বর্ণনা। গ্র্যানাইট ৪.০-এর ঘোষণা বলছে, এর মডেলগুলো প্রশিক্ষিত হয়েছে ৫,১২,০০০ টোকেন পর্যন্ত দৈর্ঘ্যের নমুনায় এবং যাচাই হয়েছে ১,২৮,০০০ টোকেন পর্যন্ত কাজে।
সূত্র ও আরও পড়ার জন্য
- arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
- arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
- arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
- arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
- AI21: Introducing Jamba (28 March 2024)
- arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
- arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
- NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
- arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
- IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
- Hugging Face: ibm-granite/granite-4.0-h-small model card
- Sarvam AI: Introducing Saaras V4 (25 September 2026)
এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।
ভালো লাগল? পরেরটিও পড়ুন।
একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।