Skip to content
সর্বমের ১০৫ বিলিয়ন প্যারামিটারের মডেল প্রতিটি টোকেনের জন্য হিসাব করে ১০.৩ বিলিয়ন দিয়ে, মিক্সচার-অফ-এক্সপার্টস নকশায়, যার ধারা ১৯৯১ সালের একটি গবেষণাপত্র থেকে মিক্সট্রাল ও ডিপসিক পর্যন্ত
এআই ও প্রযুক্তি

সর্বমের ১০৫ বিলিয়ন প্যারামিটারের মডেল প্রতিটি টোকেনের জন্য হিসাব করে ১০.৩ বিলিয়ন দিয়ে, মিক্সচার-অফ-এক্সপার্টস নকশায়, যার ধারা ১৯৯১ সালের একটি গবেষণাপত্র থেকে মিক্সট্রাল ও ডিপসিক পর্যন্ত

অলঙ্করণ: tuput

বাংলা

ভারতে ইন্ডিয়াএআই মিশনের কম্পিউট দিয়ে প্রশিক্ষিত সর্বমের ওপেন ১০৫বি মডেল প্রতিটি টোকেনকে ১২৮ জন এক্সপার্টের মধ্যে ৮ জনের কাছে পাঠায়, ফলে একসঙ্গে সক্রিয় থাকে ১০.৩ বিলিয়ন প্যারামিটার। ধারণাটি জ্যাকবস, জর্ডন, নাউলান ও হিন্টনের ১৯৯১ সালের একটি গবেষণাপত্র থেকে আসে, আর ভাষা মডেলে পৌঁছায় নোয়াম শাজিয়ার ও সহকর্মীদের ২০১৭ সালের জানুয়ারির গবেষণাপত্রে।

· · 8 মিনিটের পাঠ

সর্বমের ১০৫বি মডেল ২০২৬ সালের ৬ মার্চ ওপেন ওয়েট হিসেবে প্রকাশিত হয়। এতে আছে ১০৫ বিলিয়ন প্যারামিটার (প্রশিক্ষণের সময় নেটওয়ার্ক যে সমন্বয়যোগ্য সংখ্যা শেখে), কিন্তু এর Hugging Face মডেল কার্ড বলছে, যেকোনো একটি টোকেনের জন্য সক্রিয় থাকে তার মধ্যে মাত্র ১০.৩ বিলিয়ন। টোকেন মানে একটি শব্দ বা শব্দের একটি অংশ। এই সাশ্রয় আসে মিক্সচার অফ এক্সপার্টস নামের একটি নকশা থেকে। সর্বম জানায়, তারা মডেলটি এবং তার ছোট ভাই ৩০বি-কে ভারতেই গোড়া থেকে প্রশিক্ষণ দিয়েছে, ইন্ডিয়াএআই মিশনের আওতায় দেওয়া কম্পিউট দিয়ে।

মিক্সট্রাল, ডিপসিক-ভি২ আর ডিপসিকের নতুন মডেলগুলোর ভেতরেও আছে এই মিক্সচার অফ এক্সপার্টস। গবেষণাপত্র ও মডেল কার্ড থেকে একটি রেখা টানা যায়: ১৯৯১ সালের একটি গবেষণাপত্র থেকে ১৩৭ বিলিয়ন প্যারামিটারের ২০১৭ সালের একটি নেটওয়ার্কে, আর সেখান থেকে ২০২৪ থেকে ২০২৬ সালের ওপেন মডেলগুলোতে। সর্বমের ১০৫বি ডিপসিক-ভি২-এর সঙ্গে দুটি নকশা বৈশিষ্ট্য ভাগ করে নেয়, একটি শেয়ার্ড এক্সপার্ট আর অ্যাটেনশনের একটি সংকুচিত রূপ, দুটিই নিচে বর্ণিত।

নেটওয়ার্কের ভেতরে রাউটার কী করে

শব্দগুলো যাঁদের কাছে নতুন, তাঁদের জন্য প্যারামিটার, টোকেন ও প্রিট্রেনিং আছে বড় ভাষা মডেল কীভাবে প্রশিক্ষিত হয় তা নিয়ে আমাদের ব্যাখ্যায়।

সাধারণ ট্রান্সফর্মারে, আজকের চ্যাটবটগুলোর পেছনের নকশায়, প্রতিটি টোকেন প্রতিটি স্তরে একটি ফিড-ফরোয়ার্ড ব্লকের ভেতর দিয়ে যায়। এই ব্লক সংখ্যার একটি বিশাল স্তূপ, যা মডেলের প্রক্রিয়াকরণের বড় অংশ করে। মিক্সচার-অফ-এক্সপার্টস মডেল এই একটি ব্লকের জায়গায় বসায় কয়েকটি ছোট ব্লক, যাদের বলে এক্সপার্ট, আর যোগ করে একটি রাউটার। Hugging Face-এর ২০২৩ সালের ব্যাখ্যায় রাউটারকে বর্ণনা করা হয়েছে একটি ছোট শেখা নেটওয়ার্ক হিসেবে, যে ঠিক করে কোন টোকেন কোন এক্সপার্টের কাছে যাবে, আর বলা আছে এটি মডেলের বাকি অংশের সঙ্গে একসঙ্গে প্রশিক্ষিত হয়। মিক্সট্রাল নিয়ে Mistral-এর পোস্টও একই কথা বলে: এক্সপার্ট ও রাউটার একই সময়ে প্রশিক্ষিত হয়।

ফলে দুটি সংখ্যার মধ্যে একটি বিভাজন দাঁড়ায়। Hugging Face-এর ২০২৬ সালের ফেব্রুয়ারির ভাষায়, মডেলের সামর্থ্য নির্ভর করে তার মোট প্যারামিটারের ওপর, কিন্তু অনুমানের গতি নির্ভর করে সক্রিয় প্যারামিটারের ওপর। পোস্টে ওপেন gpt-oss-20b মডেলের হিসাব কষা হয়েছে: মোট ২১ বিলিয়ন প্যারামিটার, প্রতি টোকেনে ৩২ জন এক্সপার্টের মধ্যে ৪ জন ব্যবহৃত, সক্রিয় প্রায় ৩.৬ বিলিয়ন। একটি অ্যাপল M3 আল্ট্রার মেমরি ব্যান্ডউইথ থেকে গতির অনুমান এসেছিল প্রায় প্রতি সেকেন্ডে ১১১ টোকেন, আর মাপা গতি ছিল প্রায় ১১৫।

এক্সপার্ট কোনো বিষয়ের বিশেষজ্ঞ নয়। ২০২৬ সালের পোস্টে বলা আছে, এটি নিছক একটি শেখার যোগ্য উপ-নেটওয়ার্ক, “গণিতের এক্সপার্ট” বা “কোডের এক্সপার্ট” নয়। ২০২৩ সালের পোস্টে জানানো হয়েছে, একটি সমীক্ষায় (ST-MoE) এনকোডারের এক্সপার্টরা বিশেষজ্ঞ হয়ে উঠেছিল যতিচিহ্ন বা নামবাচক বিশেষ্যের মতো টোকেনের গোষ্ঠীতে, আর একটি বহুভাষিক প্রশিক্ষণে কোনো একজন এক্সপার্টও একটিমাত্র ভাষায় বিশেষজ্ঞ হয়নি।

১৯৯১ সালের একটি ধারণা, ২০১৭ সালের একটি লাফ

শুরুর বিন্দু ১৯৯১ সালে Neural Computation জার্নালের তৃতীয় খণ্ডে প্রকাশিত একটি গবেষণাপত্র, রবার্ট জ্যাকবস, মাইকেল জর্ডন, স্টিভেন নাউলান আর জিওফ্রি হিন্টনের লেখা। এতে বর্ণনা আছে বহু আলাদা নেটওয়ার্কের একটি ব্যবস্থার শেখার পদ্ধতির, যেখানে প্রতিটি নেটওয়ার্ক প্রশিক্ষণের কিছু উদাহরণ সামলায়, আর একটি গেটিং নেটওয়ার্ক প্রতিটি উদাহরণ পাঠায় এক বা কয়েকজন এক্সপার্টের কাছে, যাতে ওজনের পরিবর্তন তাদের মধ্যেই সীমাবদ্ধ থাকে। গবেষণাপত্রের একটি পাদটীকা বলে, ধারণাটি প্রথম উপস্থাপন করেন জ্যাকবস ও হিন্টন ১৯৮৮ সালে পিটসবার্গের একটি গ্রীষ্মকালীন স্কুলে। লেখকেরা এটি পরীক্ষা করেন স্বরবর্ণ শনাক্তকরণের একটি কাজকে উপকাজে ভেঙে, যার প্রতিটি সমাধান করে একটি অত্যন্ত সরল এক্সপার্ট নেটওয়ার্ক।

পরের বড় ধাপ নোয়াম শাজিয়ার ও ছয়জন সহলেখক পোস্ট করেন ২০১৭ সালের ২৩ জানুয়ারি। তাঁদের সারসংক্ষেপে বলা আছে, আধুনিক GPU ক্লাস্টারে গণনাদক্ষতায় সামান্য ক্ষতির বিনিময়ে মডেলের সামর্থ্যে “১০০০ গুণের বেশি উন্নতি”। তাঁদের তৈরি স্তরে ছিল হাজার হাজার পর্যন্ত ফিড-ফরোয়ার্ড এক্সপার্ট, আর একটি প্রশিক্ষণযোগ্য গেটিং নেটওয়ার্ক প্রতিটি উদাহরণের জন্য তাদের একটি বিরল সমন্বয় বেছে নিত। তাঁরা ১৩৭ বিলিয়ন পর্যন্ত প্যারামিটারের একটি স্তর বসান স্তূপাকার LSTM স্তরের (ভাষা নেটওয়ার্কের একটি পুরোনো ধরন) মাঝখানে, আর ভাষা মডেলিং ও অনুবাদের মানদণ্ডে কম গণনা খরচে প্রকাশিত সেরা ফলের চেয়ে ভালো ফল পাওয়ার কথা জানান। এই ফল লেখকদের নিজেদের। Hugging Face-এর বিবরণ যোগ করে, কাজটি উচ্চ যোগাযোগ খরচ আর অস্থির প্রশিক্ষণের সমস্যায় পড়েছিল।

দুটি সরলীকরণ: GShard ও Switch

GShard নিয়ে ২০২০ সালের জুনের একটি গবেষণাপত্রে জানানো হয়েছে, বিরল গেটযুক্ত এক্সপার্ট সহ একটি বহুভাষিক অনুবাদ মডেলকে ৬০০ বিলিয়ন প্যারামিটারের বেশি পর্যন্ত বাড়ানো হয়েছে, ১০০টি ভাষা থেকে ইংরেজিতে অনুবাদের জন্য ২,০৪৮টি TPU v3 অ্যাক্সিলারেটরে ৪ দিনে প্রশিক্ষিত।

উইলিয়াম ফেডাস, ব্যারেট জোফ ও শাজিয়ারের সুইচ ট্রান্সফর্মার এল ২০২১ সালের ১১ জানুয়ারি। এর প্রধান পরিবর্তন ছিল রাউটিং সরল করা। Hugging Face উল্লেখ করেছে, আগের নকশায় প্রতি টোকেনে অন্তত দুজন এক্সপার্ট ব্যবহার হতো, আর Switch প্রতিটি টোকেন পাঠায় একজনের কাছে, যাতে রাউটারের কাজ, যোগাযোগ ও ব্যাচের আকার কমে, আর লেখকদের কথায় মান বজায় থাকে। গবেষণাপত্র জানায়, একই হার্ডওয়্যারে তাদের শুরুর বিন্দু T5-Base ও T5-Large-এর চেয়ে প্রি-ট্রেনিং ৭ গুণ পর্যন্ত দ্রুত, আর T5-XXL-এর চেয়ে ৪ গুণ গতিবৃদ্ধি-সহ এক ট্রিলিয়ন প্যারামিটারের একটি মডেল। লেখকেরা এটাও বলেন, তাঁরা এই প্রথম বড় বিরল মডেল কম নির্ভুলতার bfloat16 সংখ্যায় প্রশিক্ষণ দিয়েছেন।

২০২৪: মিক্সট্রাল ও ডিপসিক রেসিপি বদলায়

Mistral AI মিক্সট্রাল ৮x৭বি প্রকাশ করে ২০২৩ সালের ১১ ডিসেম্বর, Apache 2.0 লাইসেন্সে, আর তার গবেষণাপত্র আসে ২০২৪ সালের ৮ জানুয়ারি। প্রতিটি স্তরে ৮ জন এক্সপার্ট, আর রাউটার প্রতি টোকেনে বাছে ২ জন। যেহেতু এক্সপার্টরা টোকেন থেকে টোকেনে আলাদা, গবেষণাপত্র বলে প্রতিটি টোকেনের কাছে ৪৭ বিলিয়ন প্যারামিটারের নাগাল আছে, কিন্তু কোনো একটি ধাপে ব্যবহার করে ১৩ বিলিয়ন। Mistral-এর নিজস্ব ঘোষণায় আছে ৪৬.৭ বিলিয়ন ও ১২.৯ বিলিয়ন, যা গোল করলে একই সংখ্যা দাঁড়ায়, আর Hugging Face গতিকে তুলনা করেছে ১২ বিলিয়ন প্যারামিটারের একটি মডেলের সঙ্গে। Mistral বলে, মিক্সট্রাল বেশির ভাগ মানদণ্ডে Llama 2 70B ও GPT-3.5-এর সমান বা তার চেয়ে ভালো, এটি নির্মাতার দাবি এবং তাদের বেছে নেওয়া পরীক্ষায় মাপা।

মোট ৪৭ বিলিয়ন, ৮ গুণ ৭ বিলিয়ন অর্থাৎ ৫৬ বিলিয়ন নয়, কারণ শুধু ফিড-ফরোয়ার্ড ব্লকগুলোকে এক্সপার্টে ভাগ করা হয়েছে। অ্যাটেনশন ও অন্য অংশগুলো ভাগাভাগি করা, Hugging Face ব্যাখ্যা করেছে।

মিক্সট্রাল গবেষণাপত্রের তিন দিন পর, ২০২৪ সালের ১১ জানুয়ারি, বের হয় ডিপসিকএমওই গবেষণাপত্র। এতে দুটি পরিবর্তন ছিল। এক্সপার্টদের আরও সূক্ষ্ম টুকরোয় কাটা হয় এবং প্রতি টোকেনে তাদের আরও বেশি সক্রিয় করা হয়, আর কয়েকজন শেয়ার্ড এক্সপার্ট আলাদা রাখা হয় সাধারণ জ্ঞান ধরে রাখতে, যাতে রাউট করা এক্সপার্টরা বিশেষজ্ঞ হয়ে উঠতে পারে। গবেষণাপত্রের পরীক্ষায় ১৬ বিলিয়ন প্যারামিটারের একটি সংস্করণ LLaMA2 7B-র সমান ফল দেয় প্রায় ৪০% গণনায়, আর ১৪৫ বিলিয়ন প্যারামিটারের একটি প্রাথমিক সংস্করণ ডিপসিক ৬৭বি-র সমান ফল দেয় ২৮.৫% গণনায়, সম্ভবত মাত্র ১৮.২%-এও। এই তুলনাগুলো লেখকদের নিজেদের।

ডিপসিক-ভি২ আসে ২০২৪ সালের ৭ মে: মোট ২৩৬ বিলিয়ন প্যারামিটার, প্রতি টোকেনে সক্রিয় ২১ বিলিয়ন, ১,২৮,০০০ টোকেনের কনটেক্সট উইন্ডো আর ৮.১ ট্রিলিয়ন প্রশিক্ষণ টোকেন। আগের ঘন ডিপসিক ৬৭বি-র তুলনায় দলটি জানায় প্রশিক্ষণ খরচ ৪২.৫% কম, কী-ভ্যালু ক্যাশ ৯৩.৩% ছোট আর জেনারেশন থ্রুপুট ৫.৭৬ গুণ পর্যন্ত। কী-ভ্যালু ক্যাশ হলো মডেল লেখার সময় আগের টোকেনগুলোর যে স্মৃতি রাখে, আর এই হ্রাস আসে গবেষণাপত্রের দ্বিতীয় বৈশিষ্ট্য মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন (MLA) থেকে, যা ওই ক্যাশকে একটি ছোট সংরক্ষিত রূপে সংকুচিত করে।

ভারতে তৈরি সর্বমের দুটি মডেল

সর্বমের ২০২৬ সালের ৬ মার্চের ব্লগ আর দুটি মডেল কার্ডে নকশাটি বিশদে দেওয়া আছে। দুটি মডেলই ১২৮ জন এক্সপার্টসহ বিরল এক্সপার্ট স্তর ব্যবহার করে, রাউট করা এক্সপার্টদের পাশাপাশি একজন শেয়ার্ড এক্সপার্ট সবসময় চালু।

মডেলমোট প্যারামিটারপ্রতি টোকেনে সক্রিয়ব্যবহৃত রাউট করা এক্সপার্ট
মিক্সট্রাল ৮x৭বি (গবেষণাপত্র)৪৭ বিলিয়ন১৩ বিলিয়ন৮-এর মধ্যে ২
ডিপসিক-ভি২ (গবেষণাপত্র)২৩৬ বিলিয়ন২১ বিলিয়নডিপসিকএমওই নকশা
সর্বম ৩০বি (মডেল কার্ড)প্রায় ৩০ বিলিয়ন২.৪ বিলিয়ন, নন-এমবেডিং১২৮-এর মধ্যে ৬
সর্বম ১০৫বি (মডেল কার্ড)প্রায় ১০৫ বিলিয়ন১০.৩ বিলিয়ন১২৮-এর মধ্যে ৮

কার্ডে সর্বম ৩০বি-র সক্রিয় প্যারামিটার গোনা হয়েছে এমবেডিং স্তর ছাড়া, যে লুকআপ টেবিল টোকেনকে সংখ্যায় বদলায়। Hugging Face-এর ফাইল তালিকায় ৩০বি-র জন্য ৩২ বিলিয়ন আর ১০৫বি-র জন্য ১০৬ বিলিয়ন প্যারামিটার দেখা যায়, অর্থাৎ মডেলের নামগুলো গোল করা।

অ্যাটেনশন সামলানোর পদ্ধতিতে দুটি আলাদা। ৩০বি ব্যবহার করে গ্রুপড কোয়েরি অ্যাটেনশন, যেখানে কয়েকটি অ্যাটেনশন হেড সংরক্ষিত কী ও ভ্যালু ভাগ করে নেয় (কার্ডে ৪টি কী-ভ্যালু হেডের উল্লেখ আছে), ক্যাশ ছোট করতে। ১০৫বি ব্যবহার করে মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন, যে কৌশল ডিপসিক-ভি২ ক্যাশ সংকুচিত করতে ব্যবহার করে, আর সর্বম বর্ণনা করেছে লম্বা ইনপুটের জন্য মেমরি আরও কমানোর উপায় হিসেবে। প্রি-ট্রেনিংয়ে ৩০বি-র জন্য ১৬ ট্রিলিয়ন আর ১০৫বি-র জন্য ১২ ট্রিলিয়ন টোকেন ব্যবহার হয়েছে।

রাউটিং নিয়ে সর্বম বলে, তারা সাধারণ সফটম্যাক্সের বদলে সিগময়েড ফাংশন দিয়ে এক্সপার্টদের স্কোর করেছে এবং একটি এক্সপার্ট-বায়াস পদ যোগ করেছে। কোম্পানির জানানো কারণ, এক্সপার্টদের মধ্যে ভালো ভারসাম্য আর কম রাউটিং কোল্যাপস, যে ব্যর্থতায় কয়েকজন এক্সপার্ট বেশির ভাগ যাতায়াত নিয়ে নেয়। Hugging Face-এর ২০২৩ সালের লেখায় লোড ব্যালান্সিংকে নকশাটির কঠিন সমস্যাগুলোর একটি বলা হয়েছে, যা Switch Transformers সামলেছিল প্রশিক্ষণের সময় যোগ করা একটি সরল বাড়তি লস দিয়ে।

সর্বম দুটিই প্রকাশ করেছে Apache 2.0 লাইসেন্সে, ওয়েট রেখেছে AI Kosh ও Hugging Face-এ। তাদের ব্লগ বলে, ৩০বি চালায় তাদের সম্বাদ কথোপকথন প্ল্যাটফর্ম আর ১০৫বি তাদের ইন্দাস সহকারী। এতে আরও জানানো হয়েছে, H100 চিপে ৩০বি প্রতি ব্যবহারকারীর একই গতিতে একটি Qwen3 বেসলাইনের চেয়ে প্রতি GPU-তে ৩ থেকে ৬ গুণ থ্রুপুট দেয়। এই সংখ্যা এবং ভারতীয় ভাষার মানদণ্ডে অত্যাধুনিক ফলের কোম্পানির দাবি, দুটিই সর্বমের নিজস্ব বক্তব্য। ১০৫বি-র বাইরের স্কোর আছে ইন্ডিয়াএআই মিশন নিয়ে আমাদের প্রতিবেদনে, আর মিশনের বিরল মডেলের অন্য প্রকাশ, ZenteiQ-এর Dhir 5B, আছে এই নিবন্ধে।

ধারণাটি কতদূর গেছে

ডিপসিক-ভি৪.১-ফ্ল্যাশ, যার মডেল কার্ড ২০২৬ সালের ১২ নভেম্বর Hugging Face Hub-এ চালু ছিল, তার ব্যাকবোন প্যারামিটার ৫৫২ বিলিয়ন আর কনটেক্সট ১০ লাখ টোকেন পর্যন্ত। কার্ড বলছে, প্রতিটি বিরল স্তরে ১ জন শেয়ার্ড ও ৩৮৪ জন রাউট করা এক্সপার্ট আছে, প্রতি টোকেনে সক্রিয় ৬ জন রাউট করা এক্সপার্ট। অর্থাৎ ৩৮৪ জন রাউট করা এক্সপার্টের মধ্যে ৬ জন, প্রায় ১.৬%, যেখানে মিক্সট্রাল ব্যবহার করে তার এক্সপার্টদের এক-চতুর্থাংশ আর সর্বমের ১০৫বি ব্যবহার করে ১২৮-এর মধ্যে ৮। কার্ডে ৪৫ ট্রিলিয়ন টোকেনের প্রশিক্ষণ সংগ্রহ আর MIT লাইসেন্সের কথা আছে। ১ ট্রিলিয়ন প্যারামিটারে একই পদ্ধতি আছে মিস্ট্রাল লার্জ ৪ নিয়ে আমাদের লেখায়।

নকশাটি যা বাঁচায় না

প্রতিটি টোকেনে মাত্র কয়েকজন এক্সপার্ট কাজ করলেও সবাইকে মেমরিতে থাকতে হয়। সর্বমের মডেলগুলোর জন্য তালিকাভুক্ত ৩২ বিলিয়ন ও ১০৬ বিলিয়ন প্যারামিটারের ফাইলের আকার সেটাই, যা একটি মেশিনকে ধরে রাখতে হয়। Hugging Face-এর ২০২৩ সালের ব্যাখ্যা বলে, মিক্সট্রাল ধরনের একটি মডেলের পুরো ৪৭ বিলিয়ন প্যারামিটার ধরে রাখার মতো ভিডিও মেমরি লাগে, আর মিক্সচার-অফ-এক্সপার্টস উপযুক্ত অনেক মেশিন জুড়ে উচ্চ থ্রুপুটের সেবার জন্য, যেখানে কম মেমরি ও কম যাতায়াতে ঘন মডেল ভালো। এতে আরও জানানো হয়েছে, বিরল মডেল ফাইন-টিউনিংয়ের সময় ওভারফিটিংয়ের দিকে ঝোঁকে, আর এক্সপার্ট বাড়ানোর লাভ ২৫৬ বা ৫১২ জনের পর কমে আসে।

Share
Copied!

সূত্র ও আরও পড়ার জন্য

  1. Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
  2. arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
  3. arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
  4. arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
  5. Mistral AI: Mixtral of experts (11 December 2023)
  6. arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
  7. arXiv: Dai et al., DeepSeekMoE (11 January 2024)
  8. arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
  9. Hugging Face: Mixture of Experts Explained (11 December 2023)
  10. Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
  11. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
  12. Hugging Face: Sarvam-105B model card
  13. Hugging Face: Sarvam-30B model card
  14. Hugging Face: DeepSeek-V4.1-Flash model card

এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।

#mixture of experts#sarvam ai#sarvam 105b#mixtral#deepseek#switch transformers#open-weight models#indiaai mission

ভালো লাগল? পরেরটিও পড়ুন।

একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।

একই বিভাগে আরও: এআই ও প্রযুক্তি
২০২৬ সালের ১০ সেপ্টেম্বর প্রকাশিত ডিপসিকের ৫৫২ বিলিয়ন প্যারামিটারের ওপেন-ওয়েট মডেল V4.1-Flash প্রতি টোকেনের মেমরি ক্যাশ নামিয়ে এনেছে ৮৯০ বাইটে, আগের মডেলের প্রায় এক-চতুর্থাংশ
একটি লম্বা কথোপকথন নিয়ে মডেলের স্বল্পমেয়াদি স্মৃতি ধরে রাখা ব্যয়বহুল। ডিপসিকের সেপ্টেম্বরের প্রকাশ নকশার মধ্যেই তা সংকুচিত করেছে, আর এর নিজের রিপোর্টই বলছে মডেলটি কোথায় এখনও পিছিয়ে। এখানে আছে কৌশলটি, ২০২৪ সাল থেকে সময়রেখা, আর বাইরের লোকেরা কী যাচাই করেছেন।
সর্বম ভিশন ২.১ ইংরেজি ও ২২টি তফসিলভুক্ত ভারতীয় ভাষা পড়ে, যোগ হয়েছে হাতের লেখা ও ফর্ম থেকে তথ্য তোলা, আর সর্বমের নিজের পরীক্ষায় olmOCR-Bench-এ স্কোর ৮৭.৩
বেঙ্গালুরুর একটি কোম্পানির মডেল এখন ২২টি ভারতীয় ভাষায় ফর্ম, টেবিল আর হাতের লেখা পড়ে। প্রকাশের পোস্ট, প্রকাশ্য বেঞ্চমার্কের পাতা আর সমস্যাটির পেছনের লিপির নিয়ম, প্রতিটি স্কোর কার চালানো পরীক্ষা থেকে এসেছে তা মিলিয়ে।
ওপেনএআইয়ের ২০২০ সালের স্কেলিং ল গবেষণাপত্র দেখেছিল মডেলের লস সাত মাত্রার ক্রমেরও বেশি জুড়ে পাওয়ার ল মেনে কমে, আর ডিপমাইন্ডের ২০২২ সালের চিনচিলা গবেষণাপত্র দেখিয়েছিল একই কম্পিউটে ৭০ বিলিয়ন প্যারামিটারের একটি মডেল ২৮০ বিলিয়নেরটিকে হারাতে পারে
মডেলের আকার, তার প্রশিক্ষণের লেখা আর কম্পিউটের খরচ পরস্পরের সঙ্গে বদলাবদলি করা যায়। প্রতিটি গবেষণাপত্র কী মেপেছিল, কী কী সংখ্যা ছেপেছিল, একটি পুনরাবৃত্তির চেষ্টা, আর নিয়মগুলো কতদূর পৌঁছায় সে বিষয়ে ২০২৬ সালের একটি নিরাপত্তা প্রতিবেদন কী বলে, তা এখানে।
← সব লেখা