অলঙ্করণ: tuput
বাংলা
দুটি গবেষণাপত্র ঠিক করে দিয়েছিল ভাষা মডেল কত বড় বানাতে হবে তা ল্যাবগুলো কীভাবে স্থির করবে। ২০২০ সালের ওপেনএআই গবেষণাপত্র পক্ষ নিয়েছিল বড় মডেলের, ২০২২ সালের ডিপমাইন্ড গবেষণাপত্র পক্ষ নিয়েছিল মডেল ও তথ্যের সমান হারে বাড়ার, আর পরে ডিপসিক, মেটা, এপোক এআই এবং ২০২৬ সালের আন্তর্জাতিক এআই নিরাপত্তা প্রতিবেদনের কাজ দুটিকেই পরিমার্জিত করেছে।
ডিপমাইন্ড একই প্রশিক্ষণ-কম্পিউটে দুটি ভাষা মডেল বানিয়েছিল, আর ছোটটি জিতেছিল। গোফারের প্যারামিটার ছিল ২৮০ বিলিয়ন, মানে নিউরাল নেটওয়ার্কের ভেতরের সমন্বয়যোগ্য সংখ্যা, আর সে পড়েছিল ৩০০ বিলিয়ন টোকেন, মডেল যে অল্প অক্ষরের লেখার টুকরো থেকে শেখে। চিনচিলার প্যারামিটার ছিল ৭০ বিলিয়ন আর পড়েছিল ১.৪ ট্রিলিয়ন টোকেন। ২০২২ সালের ২৯ মার্চ arXiv-এ প্রকাশিত ডিপমাইন্ডের গবেষণাপত্র জানায়, চিনচিলা যত কাজ মেপেছিল তার প্রায় সবটিতে গোফারকে হারিয়েছে, এমএমএলইউ সাধারণ-জ্ঞানের পরীক্ষাসহ, যেখানে সে পেয়েছিল ৬৭.৫ শতাংশ (গবেষণাপত্রের টেবিলে ৬৭.৬), গোফারের ৬০.০-এর বিপরীতে।
ফলটি এসেছিল মডেল বানানোর আগেই তার মান অনুমান করার একটি পদ্ধতি থেকে, যার নাম স্কেলিং ল: একটি মানানসই রেখা, যা মডেলের ভুলকে জুড়ে দেয় তার আকার, প্রশিক্ষণের তথ্য আর খরচ করা কম্পিউটিং ক্ষমতার সঙ্গে। এই লেখা অনুসরণ করে শর্ত ঠিক করে দেওয়া দুটি গবেষণাপত্রকে, ২০২০ সালের ২৩ জানুয়ারির ওপেনএআইয়েরটি আর ২০২২ সালের ২৯ মার্চের ডিপমাইন্ডেরটি, তারপর পরের যে কাজগুলো সেগুলো সামঞ্জস্য করেছে: ২০২৪ সালের জানুয়ারিতে ডিপসিক, ২০২৪ সালের এপ্রিলে বাইরের একটি পুনরাবৃত্তির চেষ্টা, ২০২৪ সালের জুলাইয়ে মেটার ল্লামা ৩ আর ২০২৬ সালের ৩ ফেব্রুয়ারির আন্তর্জাতিক এআই নিরাপত্তা প্রতিবেদন। একটি মডেল আসলে কীভাবে প্রশিক্ষিত হয় তার জন্য দেখুন আমাদের ধাপে ধাপে ব্যাখ্যা।
২০২০ সালের গবেষণাপত্র কী মেপেছিল
ওপেনএআই ও জনস হপকিন্স বিশ্ববিদ্যালয়ের জ্যারেড কাপলান, স্যাম ম্যাকক্যান্ডলিশ আর আটজন সহলেখক নানা আকারের ট্রান্সফর্মার ভাষা মডেল প্রশিক্ষণ দিয়ে তাদের ক্রস-এনট্রপি লস লক্ষ করেছিলেন, যা একটি মডেল পরের টোকেন কতটা খারাপ আন্দাজ করে তার স্কোর, আর কম মানে ভালো। সারসংক্ষেপে বলা আছে, লস কমে পাওয়ার ল মেনে, মডেলের আকার, ডেটাসেটের আকার আর প্রশিক্ষণ-কম্পিউটের সঙ্গে, কিছু প্রবণতা সাত মাত্রার ক্রমেরও বেশি জুড়ে। পাওয়ার ল মানে লগারিদমিক অক্ষের চার্টে একটি সরলরেখা: কোনো উপাদান দশ গুণ বাড়ালে লস কমে একটি স্থির, আগাম বলা যায় এমন হারে।
আরও দুটি পর্যবেক্ষণ ল্যাবগুলোর পরের কাজ গড়ে দিয়েছিল। নেটওয়ার্ক কত গভীর বা চওড়া, এমন স্থাপত্যের খুঁটিনাটির প্রভাব ছিল একটি বড় পরিসরে ন্যূনতম, অর্থাৎ গুরুত্ব ছিল স্কেলের। আর নির্দিষ্ট কম্পিউট বাজেটে গবেষণাপত্র বলছে সেরা ফল আসে অত্যন্ত বড় মডেলকে তুলনামূলক অল্প তথ্যে প্রশিক্ষণ দিয়ে, কনভার্জেন্সের, অর্থাৎ যে বিন্দুর পর আরও প্রশিক্ষণে লাভ হয় না, বেশ আগেই থেমে গিয়ে। এর মানানো সূচক অনুযায়ী মডেলের আকার বাড়ে কম্পিউটের ০.৭৩ ঘাত হিসেবে আর তথ্য কম্পিউটের ০.২৭ ঘাত হিসেবে। ডিপমাইন্ডের পরের গবেষণাপত্র এটিকে পড়েছে এভাবে: ১০ গুণ বেশি কম্পিউট পেলে মডেল বাড়বে ৫.৫ গুণ আর প্রশিক্ষণ-টোকেন মাত্র ১.৮ গুণ।
কাপলান গবেষণাপত্র নিজের সীমা নিয়ে খোলামেলা। এর পরিশিষ্ট বলছে, নিয়মগুলো নিয়ে “আমাদের কোনো দৃঢ় তাত্ত্বিক বোঝাপড়া নেই”, আর তা না থাকলে কখন সেগুলোকে বিশ্বাস করা যায় তা জানা কঠিন। ডিপমাইন্ডের লেখকেরা লিখেছেন, এই পরামর্শ মেনে সে সময়ের বেশির ভাগ বড় মডেল, জিপিটি-৩ সহ, প্রশিক্ষিত হয়েছিল প্রায় ৩০০ বিলিয়ন টোকেনে।
বড় কড়াই, না বেশি উপকরণ
একটি রান্নাঘরের তুলনা কাজে লাগে। প্রশিক্ষণের খরচ মোটামুটি প্যারামিটার সংখ্যা গুণ টোকেন সংখ্যা গুণ ছয়, যে আনুমানিক হিসাব কাপলান আর ডিপসিক দুই গবেষণাপত্রই ব্যবহার করে। ভাবুন প্যারামিটার কড়াইয়ের আকার আর টোকেন উপকরণের পরিমাণ, রান্নার ঘণ্টা স্থির। দ্বিগুণ বড় কড়াই বেছে নিলে স্থির ঘণ্টায় অর্ধেকটাই ভরা যাবে। স্কেলিং ল উত্তর দেয় স্থির বাজেট কড়াই আর উপকরণের মধ্যে কীভাবে ভাগ করলে সবচেয়ে কম লস মেলে। সেই উত্তরই “কম্পিউট-অপটিমাল”-এর মানে।
কাপলানের মানানো হিসাব ঝুঁকেছিল কড়াইয়ের দিকে। ডিপমাইন্ডেরটি ঝুঁকেছিল দুটিকে মিলিয়ে বাড়ানোর দিকে।
২০২২ সালের পরীক্ষা: ৪০০টি প্রশিক্ষণ-চালনা আর একটি মডেল
জর্ডন হফম্যান, লরেন্ট সিফ্রে আর তাঁদের ডিপমাইন্ড সহকর্মীরা ৪০০টির বেশি মডেল প্রশিক্ষণ দিয়েছিলেন, ৭ কোটির কম থেকে ১৬ বিলিয়নের বেশি প্যারামিটার পর্যন্ত, প্রতিটিকে নানা পরিমাণ তথ্যে। সেরা ভাগ তাঁরা অনুমান করেছিলেন তিন উপায়ে: প্রশিক্ষণ-রেখাগুলোয় সবচেয়ে কম লস খুঁজে, নির্দিষ্ট কম্পিউট বাজেটে রেখা মিলিয়ে (যাকে বলে আইসোফ্লপ প্রোফাইল), আর সরাসরি লসের সঙ্গে একটি সূত্র মিলিয়ে। তিনটি ফল ছিল খুব কাছাকাছি। মডেলের আকারের সূচক এল ০.৫০, ০.৪৯ আর ০.৪৬, আর তথ্যের ০.৫০, ০.৫১ আর ০.৫৪, কাপলানের ০.৭৩ ও ০.২৭-এর বিপরীতে। গবেষণাপত্রের সারকথা: মডেলের আকার প্রতিবার দ্বিগুণ হলে প্রশিক্ষণ-টোকেনও দ্বিগুণ হওয়া উচিত।
গোফারকে প্রশিক্ষণ দেওয়া কম্পিউটের জন্য, গবেষণাপত্র যেটিকে ধরেছে ৫.৭৬ × ১০^২৩ অপারেশন, পূর্বাভাস ছিল চার গুণ ছোট একটি মডেল, চার গুণ বেশি টোকেনে প্রশিক্ষিত। চিনচিলা সেটাই পরীক্ষা করেছিল। গবেষণাপত্রের নিজের সংখ্যা ভাগ করলে চিনচিলার প্যারামিটারপ্রতি আসে প্রায় ২০ টোকেন, জিপিটি-৩-এর প্রায় ১.৭ (১৭৫ বিলিয়ন প্যারামিটারে ৩০০ বিলিয়ন টোকেন) আর গোফারের ১.১-এর বিপরীতে। গবেষণাপত্রের অনুমানে, জিপিটি-৩-এর মতো ১৭৫ বিলিয়ন প্যারামিটারের একটি মডেলকে সবচেয়ে ভালোভাবে প্রশিক্ষণ দেওয়া যেত ৪.৪১ × ১০^২৪ অপারেশনে ৪.২ ট্রিলিয়নের বেশি টোকেনে।
একটি সংখ্যায় সতর্ক থাকতে হয়। ২০২২ সালের ১২ এপ্রিলের ডিপমাইন্ড ব্লগ পোস্ট বলছে চিনচিলা ১.৩ ট্রিলিয়ন টোকেনে প্রশিক্ষিত, অথচ গবেষণাপত্র তার লেখায় আর প্রথম টেবিলে বলছে ১.৪ ট্রিলিয়ন। এই লেখা গবেষণাপত্রের সংখ্যাটি নিয়েছে, আর এপোক এআইয়ের সারসংক্ষেপেও একই সংখ্যা আছে।
ডিপমাইন্ডের নিজের পরীক্ষাও দেখায় কম্পিউট-অপটিমাল মানে সেরা নয়। ব্লগ পোস্টে বলা আছে, ৫৪০ বিলিয়ন প্যারামিটার আর ৭৬৮ বিলিয়ন টোকেনের গুগলের পাম চিনচিলার প্রায় পাঁচ গুণ কম্পিউট ব্যবহার করে অনেক কাজে তাকে ছাড়িয়ে গিয়েছিল। লেখকদের পদ্ধতির পূর্বাভাস, পামের বাজেটে সেরা বাছাই হতো ৩ ট্রিলিয়ন টোকেনে ১৪০ বিলিয়ন প্যারামিটারের একটি মডেল।
লেখকেরা নিজেদের সীমাও তালিকাভুক্ত করেছেন। তুলনাযোগ্য বড় মাপের চালনা তাঁদের কেবল দুটি, চিনচিলা আর গোফার, মাঝামাঝি আকারে একটিও নেই। তাঁরা ধরে নিয়েছেন পাওয়ার-ল সীমানা, অথচ উচ্চ কম্পিউটে কিছু বক্রতা দেখেছেন, যা তাঁদের কথায় ইঙ্গিত দেয় বৃহত্তম মডেলগুলোর সেরা আকার এখনো বেশি অনুমান হয়ে থাকতে পারে। প্রতিটি চালনায় নিজের তথ্যের ওপর দিয়ে এক পাসের কম যাওয়া হয়েছিল।
একটি ছোট মডেল তৈরি হওয়ার পর কী বাঁচায়
চিনচিলার সারসংক্ষেপ দ্বিতীয় একটি সুবিধা যোগ করে: ছোট বলে ফাইন-টিউনিং আর ইনফারেন্সের জন্য, মানে প্রশিক্ষণের পর ব্যবহারকারীদের উত্তর দেওয়ার কাজের জন্য, তার কম্পিউট লাগে উল্লেখযোগ্যভাবে কম। একটি জনপ্রিয় মডেলকে প্রশিক্ষণ দেওয়ার চেয়ে অনেক বেশিবার প্রশ্ন করা হয়, তাই চালানোর খরচ ল্যাবের হিসাবে জমে ওঠে, আর ছোট মডেলই সেই ধরন যা ফোনে ধরতে পারে।
মেটার ল্লামা ৩ গবেষণাপত্র দেখায় ল্যাবগুলো এই কথাটা কীভাবে কাজে লাগিয়েছে। এর দল নিজের স্কেলিং ল মিলিয়েছে, যেমন আছে আমাদের প্রশিক্ষণের ব্যাখ্যায়, এবং বলেছে ৪০৫ বিলিয়ন প্যারামিটারের তাদের ফ্ল্যাগশিপ নিজেদের বাজেটের জন্য প্রায় কম্পিউট-অপটিমাল আকারের। তারপর মেটা যোগ করেছে, ছোট মডেলগুলোকে তারা প্রশিক্ষণ দিয়েছে কম্পিউট-অপটিমালের চেয়ে অনেক বেশি সময় ধরে, আর একই ইনফারেন্স বাজেটে ফল কম্পিউট-অপটিমাল মডেলের চেয়ে ভালো। পুনরাবৃত্তির কাজ নিয়ে এপোক এআইয়ের সারসংক্ষেপও একই সাধারণ কথা বলে: ইনফারেন্স খরচ কমাতে সাধারণত ভালো হলো ছোট মডেলকে কম্পিউট-অপটিমাল পরিমাণের চেয়ে বেশি সময় প্রশিক্ষণ দেওয়া, অন্তত প্রি-ট্রেনিং কম্পিউটের হিসাবে। তাই “কম্পিউট-অপটিমাল” উত্তর দেয় কেবল প্রশিক্ষণের বিল নিয়ে একটি প্রশ্নের।
তথ্য নিয়ে ডিপসিকের ২০২৪ সালের জানুয়ারির যাচাই
ডিপসিক-এআইয়ের ২০২৪ সালের ৫ জানুয়ারির গবেষণাপত্র শুরু হয় আগের দুটি গবেষণাপত্রের মতভেদ থেকে, যার সম্পর্কে সে বলে ভিন্ন ভিন্ন সিদ্ধান্ত দেখা গিয়েছিল এবং নিয়মগুলো কতটা ব্যাপকভাবে খাটে তা নিয়ে সংশয় তুলেছিল। সে আইসোফ্লপ পদ্ধতিতে রেখা আবার মিলিয়েছে আর মডেলের আকারের মাপ হিসেবে প্যারামিটার সংখ্যার জায়গায় নিয়েছে প্রতি টোকেনে নন-এমবেডিং ফ্লপস, যা প্রতিটি টোকেনের কম্পিউট-খরচের একটি মাপ।
এর টেবিল ৪ তিনটি ডেটাসেটে মডেল-আকারের সূচক দিয়েছে। ওপেনএআই সারিতে, যা কাপলানের সংখ্যা, তা ০.৭৩; ডিপমাইন্ডের ম্যাসিভটেক্সটে ০.৪৯; আর ডিপসিকের আগের ডেটায় ছিল ০.৪৫০, বর্তমান ডেটায় ০.৫২৪, আর ওপেনওয়েবটেক্সট২-এর পুনর্মিলানোয় ০.৫৭৮। গবেষণাপত্রের পাঠ, তথ্য যত ভালো হয়, বাড়তি কম্পিউটের তত বেশি অংশ যাওয়া উচিত বড় মডেলের দিকে, আর মান ভাগটাই বদলে দেয়। এটি ডিপসিকের নিজের ডেটাসেটে তার নিজের পর্যবেক্ষণ। কোম্পানি বলছে মানানো নিয়মগুলো পূর্বাভাস দিয়েছে তাদের ৭ বিলিয়ন ও ৬৭ বিলিয়ন প্যারামিটারের মডেলের কার্যক্ষমতার, দুটিই ২ ট্রিলিয়ন টোকেনে প্রশিক্ষিত, যা বড়টির ক্ষেত্রে দাঁড়ায় প্যারামিটারপ্রতি প্রায় ৩০ টোকেন।
একটি পুনরাবৃত্তির চেষ্টা, আর যা সে পেয়েছে
২০২৪ সালের এপ্রিলে এআই-প্রবণতার ওপর নজর রাখা গবেষক দল এপোক এআইয়ের টামে বেসিরোগলু, এগে এরদিল, ম্যাথিউ বার্নেট আর জশ ইউ ডিপমাইন্ডের তৃতীয় পদ্ধতি, মানানো সূত্র, পুনরাবৃত্তির একটি চেষ্টা প্রকাশ করেন। গবেষণাপত্রের প্লট থেকে তাঁরা তথ্যের একটি অংশ আবার গড়ে একই সূত্র মিলিয়েছিলেন।
তাঁরা জানান, প্রকাশিত প্যারামিটার-অনুমান সেই পুনর্গঠিত তথ্যের সঙ্গে খারাপভাবে মেলে। তাঁরা জানান, প্রকাশিত আস্থা-ব্যবধান অবিশ্বাস্য রকম সরু, এতটাই সরু যে তাঁদের সারসংক্ষেপ অনুযায়ী ৬,০০,০০০-এর বেশি পরীক্ষা লাগত, অথচ ডিপমাইন্ড সম্ভবত ৫০০-র কম চালিয়েছিল। আর তাঁরা জানান, প্রকাশিত সূত্র থেকে প্যারামিটারপ্রতি প্রায় ৭০ টোকেন বেরোয়, যা ডিপমাইন্ডের নিজের পদ্ধতিগুলোর সঙ্গে আর চিনচিলাকে প্রশিক্ষণ দিতে ব্যবহৃত প্যারামিটারপ্রতি ২০ টোকেনের সঙ্গে মেলে না। তাঁদের পুনর্মিলানো ফলে আসে প্রায় ২০, গবেষণাপত্রের অন্য দুই পদ্ধতির সঙ্গে সামঞ্জস্য রেখে। তাঁরা এই গরমিলের কারণ বলেছেন অপটিমাইজার কনভার্জেন্সের আগে থেমে যাওয়া আর প্রকাশিত সংখ্যা গোল করা।
এতে সিদ্ধান্তটি একটি শিরোনামের ইঙ্গিতের চেয়ে সংকীর্ণ হয়। একটি পুনরাবৃত্তির চেষ্টা তৃতীয় পদ্ধতির প্রকাশিত সংখ্যায় সমস্যা পেয়েছে এবং তার সমান-স্কেলিংয়ের ফলকে প্রথম দুটির সঙ্গে সামঞ্জস্যপূর্ণ পেয়েছে। এটি পুনর্গঠিত তথ্যে গড়া বাইরের একটি প্রিপ্রিন্ট, শেষ কথা নয়, আর এপোক বলছে প্রকাশিত মানানোর ওপর নির্ভর করা আগের কাজ সংশোধনের দরকার হতে পারে।
২০২৬ সালের প্রতিবেদন কী বলে, আর সর্বমের একটি উদাহরণ
২০২৬ সালের ৩ ফেব্রুয়ারি প্রকাশিত আন্তর্জাতিক এআই নিরাপত্তা প্রতিবেদন ২০২৬, যার নেতৃত্বে ইয়োশুয়া বেঙ্গিও আর যাকে সমর্থন করেছে ৩০টির বেশি দেশ ও আন্তর্জাতিক সংস্থা, স্কেলিং ল-কে বর্ণনা করেছে মডেলের আকার, কম্পিউট আর কার্যক্ষমতার মধ্যে এমন আগাম বলা যায় এমন সম্পর্ক হিসেবে, যা মডেলের আকারের ছয় মাত্রার ক্রম জুড়ে টিকে আছে। সে এ-ও বলেছে, এগুলো পর্যবেক্ষিত আচরণ থেকে অনুমান করা অভিজ্ঞতালব্ধ নিয়মিততা, যা এখন পর্যন্ত দেখা কম্পিউট বা তথ্যের পরে ভেঙে পড়তে পারে, এবং ২০২৫ সালের জানুয়ারি থেকে সক্ষমতার বৃদ্ধি আসছে ক্রমেই বেশি করে পোস্ট-ট্রেনিং আর ব্যবহারের সময়ের বাড়তি কম্পিউট থেকে, কেবল মডেলের আকার থেকে নয়।
সর্বম এআইয়ের ২০২৬ সালের ৬ মার্চের পোস্ট ভারতীয় একটি সাম্প্রতিক তথ্যবিন্দু দেয়। সে জানায় সর্বম ৩০বি প্রশিক্ষিত হয়েছে ১৬ ট্রিলিয়ন টোকেনে আর সর্বম ১০৫বি ১২ ট্রিলিয়নে, দুটিই ইন্ডিয়াএআই মিশনের কম্পিউটে (দেখুন মিশনের জিপিইউ ও মডেল নিয়ে আমাদের প্রতিবেদন)। সরল ভাগে এটি ৩০বি-র জন্য প্যারামিটারপ্রতি প্রায় ৫৩০ টোকেন আর ১০৫বি-র জন্য প্রায় ১১৪, চিনচিলার ২০-এর চেয়ে অনেক বেশি। তুলনাটিতে একটি জটিলতা আছে, কারণ দুটিই মিক্সচার-অফ-এক্সপার্টস মডেল, যা প্রতিটি টোকেনের জন্য প্যারামিটারের কেবল একাংশ সক্রিয় করে, আর পোস্ট ৩০বি-র জন্য সক্রিয় প্যারামিটার বলেছে ২.৪ বিলিয়ন। চিনচিলার নিজের তুলনা ছিল ডেন্স মডেলের মধ্যে, যেখানে প্রতিটি টোকেনের জন্য প্রতিটি প্যারামিটার ব্যবহৃত হয়, আর ২০২২ সালের গবেষণাপত্র মিক্সচার-অফ-এক্সপার্টস নকশা নিয়ে আলোচনা করেছে কেবল অন্যদের কাজ হিসেবে। সর্বমের পোস্ট টোকেন সংখ্যা তালিকাভুক্ত করেছে, আর তার পেছনে কম্পিউট-অপটিমাল কোনো হিসাব ছিল বলে বর্ণনা করেনি।
সূত্র ও আরও পড়ার জন্য
- Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
- Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
- Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
- DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
- International AI Safety Report 2026 (published 3 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।
ভালো লাগল? পরেরটিও পড়ুন।
একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।