মেটা Llama 3 405B প্রশিক্ষণ দিয়েছে ১৫.৬ ট্রিলিয়ন টোকেন আর ৩০.৮৪ মিলিয়ন জিপিইউ ঘণ্টায়, আর ওপেনএআইয়ের মানব মূল্যায়নকারীরা ১৭৫ বিলিয়ন প্যারামিটারের GPT-3-এর চেয়ে ১.৩ বিলিয়ন প্যারামিটারের টিউন করা মডেলকেই বেশি পছন্দ করেছেন

মেটার প্রধান Llama 3 মডেলে ৪০৫ বিলিয়ন প্যারামিটার আছে, অর্থাৎ নিউরাল নেটওয়ার্কের ভেতরের সমন্বয়যোগ্য সংখ্যা, আর এটি শিখেছে ১৫.৬ ট্রিলিয়ন টোকেন থেকে, যা কয়েকটি অক্ষর লম্বা টেক্সটের টুকরো। Llama 3.1 মডেল কার্ড অনুযায়ী Nvidia H100 চিপে এই একটি মডেলের লেগেছে ৩০.৮৪ মিলিয়ন জিপিইউ ঘণ্টা, আর তিন আকারের পুরো পরিবারের লেগেছে ৩৯.৩ মিলিয়ন। মডেলটির বিবরণ দেওয়া গবেষণাপত্রটি ২০২৪ সালের ২৩ জুলাইয়ের, তাতে বলা আছে ৪০৫B মডেল প্রশিক্ষিত হয়েছে ১৬,০০০ পর্যন্ত H100 চিপে। (মেটার গবেষণাপত্র ৩.১ মডেলগুলোকেও Llama 3 নামেই ডাকে, এই লেখাতেও তাই।)

মেটার গবেষণাপত্র কাজটিকে দুই ধাপে ভাগ করে। প্রি-ট্রেনিংয়ে বিশাল পরিসরে পরের শব্দ অনুমান করার মধ্য দিয়ে নেটওয়ার্ক ভাষা শেখে। তারপর পোস্ট-ট্রেনিংয়ে তাকে টিউন করা হয় নির্দেশ মেনে চলতে আর মানুষের পছন্দের সঙ্গে মিলতে। এই লেখায় দুটি ধাপই ক্রমানুসারে আছে, ল্যাবগুলো নিজেদের গবেষণাপত্র ও মডেল কার্ডে যে সংখ্যা ছেপেছে সেগুলো ধরে, আর প্রতিটি সংখ্যা কোথা থেকে এসেছে তাও বলা আছে।

কিছু শেখার আগেই টেক্সট ছেঁকে নেওয়া হয়

কাঁচা ওয়েব টেক্সটে থাকে প্রচুর নকল, স্প্যাম আর আবর্জনা, তাই প্রতিটি ল্যাব আগে তা পরিষ্কার করে। ওপেনএআইয়ের GPT-3 গবেষণাপত্র (২০২০) শুরু করে Common Crawl-এর ৪১টি মাসিক স্ন্যাপশট থেকে, ওয়েবের এই সর্বজনীন সংরক্ষণাগারের সময়কাল ২০১৬ থেকে ২০১৯। ছাঁকনির আগে সংকুচিত টেক্সট ছিল ৪৫ টেরাবাইট, পরে ৫৭০ গিগাবাইট, প্রায় ৪০০ বিলিয়ন টোকেন।

ছাঁকনির দুটি অংশ ছিল। ওপেনএআই একটি ক্লাসিফায়ার প্রশিক্ষণ দেয়, যা তাদের উচ্চমানের রেফারেন্স সংকলনকে কাঁচা Common Crawl থেকে আলাদা করতে পারে, তারপর ক্লাসিফায়ারের কাছে বেশি নম্বর পাওয়া নথিগুলোকে অগ্রাধিকার দেয়। প্রায় একই রকম নথিও তারা বাদ দেয়, ডেটাসেটগুলোর মধ্যে ভাগাভাগি হওয়া কপিসহ। লেখকেরা যোগ করেন, ছাঁকনির একটি ত্রুটির কারণে বেঞ্চমার্ক টেস্ট সেটের সঙ্গে কিছু মিল ধরা পড়েনি, আর সেটি ঠিক করতে আবার প্রশিক্ষণ দেওয়া ছিল খুব ব্যয়বহুল।

Llama 3-এর পাইপলাইন আরও দীর্ঘ। এর গবেষণাপত্র বলছে, বেশি পরিমাণে ব্যক্তিগত তথ্য বা প্রাপ্তবয়স্কদের কনটেন্ট থাকা ওয়েবসাইট সরানো হয়েছে, বারবার আসা লাইন মুছে ফেলা হয়েছে, ব্লক তালিকা যে প্রাপ্তবয়স্ক সাইট ধরতে পারে না সেগুলো ধরতে ‘dirty words’ গোনা হয়েছে, আর মান যাচাই হয়েছে দ্রুত ক্লাসিফায়ার এবং ধীরগতির RoBERTa-ভিত্তিক ক্লাসিফায়ার, দুটি দিয়েই। একটি ভাষা শনাক্তকারী নথিগুলোকে ১৭৬টি ভাষায় ভাগ করে। এত বড় পরিসরে টেক্সট কপি করা আইনসম্মত কি না, তা এখন আদালতে পরীক্ষিত হচ্ছে, যেমন ২০২৬ সালের তিনটি রায় দেখায়। মেটা জানায়, চূড়ান্ত মিশ্রণে প্রায় ৫০ শতাংশ সাধারণ জ্ঞান, ২৫ শতাংশ গণিত ও যুক্তি, ১৭ শতাংশ কোড আর ৮ শতাংশ বহুভাষিক টেক্সট।

টেক্সটকে টোকেনে ভাগ করা

নেটওয়ার্ক অক্ষর বা গোটা শব্দ পড়ে না। সে পড়ে টোকেন, একটি নির্দিষ্ট শব্দভান্ডার থেকে নেওয়া টুকরো। Sennrich, Haddow ও Birch ২০১৫ সালে দেখান, বাইট পেয়ার এনকোডিং নামের পদ্ধতিতে বিরল শব্দকে ছোট সাবওয়ার্ড অংশে ভেঙে নিলে অনুবাদ ব্যবস্থা এমন শব্দও সামলাতে পারে যা সে আগে দেখেনি।

২০১৭ সালের Transformer গবেষণাপত্র ওই পদ্ধতিই ব্যবহার করে, ইংরেজি ও জার্মানের জন্য প্রায় ৩৭,০০০ টোকেনের একটি যৌথ শব্দভান্ডার নিয়ে। Llama 3 ব্যবহার করে ১,২৮,০০০টি: ওপেনএআইয়ের উন্মুক্ত tiktoken টোকেনাইজার থেকে ১,০০,০০০ আর ইংরেজি ছাড়া অন্য ভাষার জন্য যোগ করা ২৮,০০০। মেটা জানায়, বড় শব্দভান্ডারে ইংরেজির সংকোচন টোকেনপ্রতি ৩.১৭ থেকে বেড়ে ৩.৯৪ অক্ষর হয়েছে, ফলে একই প্রশিক্ষণ কম্পিউটে বেশি টেক্সট ঢাকা পড়ে।

প্রি-ট্রেনিং মানে অতি বড় পরিসরে পরের শব্দের অনুমান

এটিকে বাস্তবে সম্ভব করেছে Transformer নকশা, গুগল ও টরন্টো বিশ্ববিদ্যালয়ের একটি দলের কাজ, যাতে ছিলেন Ashish Vaswani ও Noam Shazeer। এটি আগের ধাপে ধাপে চলা রিকারেন্ট নকশা বাদ দিয়ে ভরসা করে অ্যাটেনশনের ওপর, এমন একটি ব্যবস্থা যাতে একটি অনুচ্ছেদের প্রতিটি শব্দ বাকি প্রতিটি শব্দকে মেপে দেখতে পারে। গবেষণাপত্রের বড় মডেলটি আটটি P100 জিপিইউতে ৩.৫ দিন চলার পর ইংরেজি থেকে জার্মানে ২৮.৪ BLEU পায়, যা অনুবাদের একটি স্কোর। এর বেস মডেলে ছিল ৬৫ মিলিয়ন প্যারামিটার আর প্রশিক্ষণ চলেছিল ১২ ঘণ্টা।

প্রি-ট্রেনিং এরপর ওই রেসিপিকে বড় করে। GPT-3-এ আছে ১৭৫ বিলিয়ন প্যারামিটার, এটি ২,০৪৮ টোকেনের কনটেক্সট উইন্ডো পড়ে এবং মাইক্রোসফটের একটি ক্লাস্টারে V100 জিপিইউ ব্যবহার করে ৩০০ বিলিয়ন টোকেনে প্রশিক্ষিত হয়েছিল। InstructGPT গবেষণাপত্র এর প্রি-ট্রেনিং ধরেছে ৩,৬৪০ পেটাফ্লপ/সেকেন্ড-দিন, যে এককটি ৮.৬৪ × ১০^১৯ ফ্লোটিং-পয়েন্ট অপারেশনের সমান।

Llama 3 405B-তে আছে ১২৬টি স্তর, আর এর প্রি-ট্রেনিং হয়েছে ৩.৮ × ১০^২৫ অপারেশনে, যা মেটার ভাষায় বৃহত্তম Llama 2-এর প্রায় ৫০ গুণ। প্রশিক্ষণ শুরু হয় ৪ মিলিয়ন টোকেনের ব্যাচ দিয়ে, পরে তা বেড়ে ১৬ মিলিয়ন হয়। শেষ পর্যায়ে কনটেক্সট উইন্ডো ছয় ধাপে ৮,০০০ থেকে বাড়িয়ে ১,২৮,০০০ টোকেন করা হয়, আর অ্যানিলিং নামের শেষ স্তরে ব্যবহার হয় আরও উচ্চমানের ডেটা।

একটি নির্দিষ্ট আকারের মডেলের কতগুলো টোকেন দেখা উচিত

নির্দিষ্ট কম্পিউট বাজেট থাকলে ল্যাবকে তা ভাগ করতে হয় বড় মডেল আর বেশি টেক্সটের মধ্যে। ডিপমাইন্ডের ২০২২ সালের মার্চের Chinchilla গবেষণাপত্র ৭০ মিলিয়ন থেকে ১৬ বিলিয়নের বেশি প্যারামিটারের ৪০০-র বেশি মডেলকে ৫ থেকে ৫০০ বিলিয়ন টোকেনে প্রশিক্ষণ দেয়। তাদের সিদ্ধান্ত ছিল, মডেলের আকার আর প্রশিক্ষণ টোকেন একসঙ্গে বাড়া উচিত, যাতে একটি দ্বিগুণ হলে অন্যটিও দ্বিগুণ হয়।

ডিপমাইন্ড এটি পরীক্ষা করে Chinchilla দিয়ে, ১.৪ ট্রিলিয়ন টোকেনে প্রশিক্ষিত ৭০ বিলিয়ন প্যারামিটারের একটি মডেল, যার কম্পিউট ছিল ৩০০ বিলিয়ন টোকেন দেখা তাদের ২৮০ বিলিয়ন প্যারামিটারের Gopher-এর সমান। গবেষণাপত্র জানায়, বিস্তৃত কাজের পরিসরে Chinchilla হারিয়েছে Gopher ও GPT-3 দুটিকেই, MMLU বেঞ্চমার্কে পেয়েছে ৬৭.৫ শতাংশ।

মেটা নিজেদের মতো করে একটি ফিট চালায়। ৩.৮ × ১০^২৫ অপারেশন পর্যন্ত টেনে নিয়ে তারা পায় ১৬.৫৫ ট্রিলিয়ন টোকেনে ৪০২ বিলিয়ন প্যারামিটারের একটি মডেল, আর দলটি শেষে ঠিক করে ৪০৫ বিলিয়ন প্যারামিটার। সাধারণ ভাগ করলে দাঁড়ায়, প্যারামিটারপ্রতি টোকেন Llama 3 405B-তে প্রায় ৩৮, Chinchilla-তে ২০ আর GPT-3-তে ২-এর কম।

১৬,০০০ চিপে কী কী ভুল হয়

প্রশিক্ষণ একটিই সমন্বিত কাজ, তাই একটি জিপিইউ বিকল হলে পুরোটাই থেমে যেতে পারে। মেটার গবেষণাপত্র ৪০৫B প্রি-ট্রেনিংয়ের ৫৪ দিনের একটি পর্বে ৪৬৬টি কাজ বন্ধ হওয়ার কথা গুনেছে। এর মধ্যে ৪৭টি পরিকল্পিত, ৪১৯টি অপরিকল্পিত, আর অপরিকল্পিতগুলোর প্রায় ৭৮ শতাংশের কারণ নিশ্চিত বা সন্দেহজনক হার্ডওয়্যার ত্রুটি। শুধু জিপিইউ-সংক্রান্ত সমস্যাই ছিল ৫৮.৭ শতাংশ। হাতে হস্তক্ষেপ লেগেছে মাত্র তিনবার, আর দলটি কার্যকর প্রশিক্ষণ সময় ৯০ শতাংশের ওপরে রেখেছে।

মডেল কার্ডে আছে শক্তির খরচের হিসাব। অবস্থানভিত্তিক হিসাবে পরিবারটির প্রশিক্ষণে ১১,৩৯০ টন CO2 সমতুল্য নির্গত হয়েছে, তার মধ্যে ৮,৯৩০ টন ৪০৫B মডেলের। বাজারভিত্তিক হিসাবে মেটা জানায় শূন্য, কারণ তারা নিজেদের বিদ্যুৎ ব্যবহারের সঙ্গে নবায়নযোগ্য শক্তির হিসাব মিলিয়েছে। ডেটা সেন্টারের বিদ্যুতের বড় প্রশ্নটি আছে IEA ও বার্কলি ল্যাবের প্রক্ষেপণ নিয়ে এই লেখায়।

পোস্ট-ট্রেনিং টেক্সট-অনুমানকারীকে সহকারী করে তোলে

প্রি-ট্রেনিং করা মডেল টেক্সট চালিয়ে যায়। সে নির্ভরযোগ্যভাবে প্রশ্নের উত্তর দেয় না। ওপেনএআইয়ের InstructGPT গবেষণাপত্র এর সমাধান দিয়েছে তিন ধাপে। কন্ট্রাক্টররা উদাহরণ উত্তর লেখেন, আর সাধারণ সুপারভাইজড লার্নিং দিয়ে মডেলকে সেগুলোর ওপর ফাইন-টিউন করা হয়। এরপর কন্ট্রাক্টররা একই প্রম্পটের কয়েকটি মডেল-উত্তরকে ক্রম দেন, আর তাঁদের ক্রম অনুমান করতে একটি রিওয়ার্ড মডেল প্রশিক্ষিত হয়। শেষে রিওয়ার্ড মডেলের স্কোরকে পুরস্কার ধরে রিইনফোর্সমেন্ট লার্নিং দিয়ে ভাষা মডেলকে টিউন করা হয়।

ডেটা ছিল ছোট। প্রকল্পে কাজ করেছেন প্রায় ৪০ জন কন্ট্রাক্টর, আর তিনটি ডেটাসেটে প্রম্পট ছিল প্রায় ১৩,০০০, ৩৩,০০০ ও ৩১,০০০। রিওয়ার্ড মডেলে ছিল ৬ বিলিয়ন প্যারামিটার। গবেষণাপত্র কম্পিউটের হিসাব দিয়েছে সুপারভাইজড ধাপে ৪.৯ পেটাফ্লপ/সেকেন্ড-দিন আর ১৭৫ বিলিয়ন প্যারামিটারের পূর্ণ রিইনফোর্সমেন্ট রানে ৬০, যেখানে GPT-3-এর প্রি-ট্রেনিংয়ে ৩,৬৪০।

ওপেনএআইয়ের নিজস্ব প্রম্পটে মূল্যায়নকারীরা ১৭৫ বিলিয়ন প্যারামিটারের GPT-3-এর চেয়ে ১.৩ বিলিয়ন প্যারামিটারের InstructGPT-র আউটপুট বেশি পছন্দ করেছেন। পূর্ণ আকারের InstructGPT GPT-3-এর চেয়ে বেশি পছন্দ পেয়েছে ৮৫ শতাংশ ক্ষেত্রে, ৩ পয়েন্ট এদিক-ওদিক ধরে। TruthfulQA-তে এটি সত্য ও তথ্যসমৃদ্ধ উত্তর দিয়েছে প্রায় দ্বিগুণ বার। কোনো নির্দিষ্ট টেক্সট সারাংশ করার মতো বদ্ধ-ক্ষেত্রের কাজে বানানো বিষয়বস্তু ৪১ থেকে কমে ২১ শতাংশ হয়েছে, আর মডেলকে সম্মানজনক হতে বলা হলে বিষাক্ত আউটপুট কমেছে প্রায় ২৫ শতাংশ। গবেষণাপত্র একটি ‘অ্যালাইনমেন্ট ট্যাক্সে’র কথাও জানায়, SQuAD ও DROP-এর মতো বেঞ্চমার্কে ছোট পতন, যা প্রি-ট্রেনিং আপডেট মিশিয়ে অনেকটাই সরানো গেছে।

Llama 3 একই ধারণা ব্যবহার করে, শুধু শেষ ধাপ আলাদা। মেটা মানুষের পছন্দের ডেটায় একটি রিওয়ার্ড মডেল প্রশিক্ষণ দিয়েছে, উদাহরণের ওপর ফাইন-টিউন করেছে, রিওয়ার্ড মডেল দিয়ে নমুনা-নেওয়া কয়েকটি উত্তরের সেরাটি বেছেছে, তারপর ছয় রাউন্ডে Direct Preference Optimization প্রয়োগ করেছে। গবেষণাপত্র বলছে, InstructGPT যে অ্যালগরিদম ব্যবহার করেছিল সেই PPO মেটা চেষ্টা করেছিল, আর দেখেছে বড় পরিসরে DPO-র কম্পিউট লাগে কম। মডেল কার্ড ধাপটির সারাংশ দেয় সুপারভাইজড ফাইন-টিউনিং আর মানুষের মতামত থেকে রিইনফোর্সমেন্ট লার্নিং বলে। এর সারণি দেখায়, Llama 3.1 405B MMLU বেঞ্চমার্কে পোস্ট-ট্রেনিংয়ের আগে পেয়েছে ৮৫.২ আর পরে ৮৭.৩।

নিরাপত্তা পরীক্ষা ও মডেল কার্ড

নিরাপত্তা টিউনিংয়ের পর মেটা মাপে দুটি জিনিস। ভায়োলেশন রেট গোনে নিরাপত্তা নীতি ভাঙা উত্তর, আর ফলস রিফিউজাল রেট গোনে নিরীহ অনুরোধ মডেল ভুল করে ফিরিয়ে দিলে তা। গবেষণাপত্র এ দুটিকে জোড়া হিসেবে দেখে, কারণ যে মডেল সবকিছুতেই না বলে, তার ভায়োলেশন রেট নিখুঁত। রেড টিম, যারা ইচ্ছে করে মডেলকে আক্রমণ করে, তাতে আছেন সাইবার নিরাপত্তা, অ্যাডভার্সারিয়াল মেশিন লার্নিং ও দায়িত্বশীল এআইয়ের বিশেষজ্ঞ, সঙ্গে বহুভাষিক বিশেষজ্ঞরা। মেটা Llama Guard 3-ও প্রকাশ করেছে, একটি আলাদা মডেল যা ইনপুট ও আউটপুট ছেঁকে দেখে।

প্রতিটি রিলিজের সঙ্গে যে সারাংশ নথি আসে, সেটি মডেল কার্ড। ২০১৮ সালে Margaret Mitchell ও সহকর্মীরা এই বিন্যাস প্রস্তাব করেন, যাতে একটি মডেলের উদ্দেশ্যমূলক ব্যবহার আর বিভিন্ন গোষ্ঠীর ক্ষেত্রে তার কাজের ফল জানানো যায়। Llama 3.1 কার্ডে আছে প্রায় ১৫ ট্রিলিয়ন প্রশিক্ষণ টোকেন, ২০২৩ সালের ডিসেম্বরের জ্ঞানসীমা, ১,২৮,০০০ টোকেনের কনটেক্সট, ওপরে বলা জিপিইউ ঘণ্টা ও নির্গমন, আর মেটা যেসব ব্যবহার বাদ দিয়েছে সেগুলো।

ভারতীয় কম্পিউটে গড়া ভারতীয় মডেল

ন্যাশনাল ই-গভর্নেন্স ডিভিশনের ২০২৬ সালের ২৪ ফেব্রুয়ারির এক বিজ্ঞপ্তিতে বিদ্যমান জাতীয় এআই অবকাঠামো ধরা হয়েছে ৩৮,০০০ জিপিইউ, আরও ২০,০০০ যোগ হতে চলেছে। ২০২৬ সালের ৬ মার্চ সর্বম এআই দুটি ওপেন মডেল প্রকাশ করে এবং জানায় প্রশিক্ষণ পুরোপুরি ভারতেই হয়েছে, ইন্ডিয়াএআই মিশনের আওতায় দেওয়া কম্পিউটে। সর্বম জানায়, তাদের ৩০ বিলিয়ন প্যারামিটারের মডেলে ১৬ ট্রিলিয়ন টোকেন, যা টোকেনপ্রতি ২.৪ বিলিয়ন প্যারামিটার সক্রিয় করে, আর ১০৫ বিলিয়ন প্যারামিটারের মডেলে ১২ ট্রিলিয়ন। এর টোকেনাইজার ভারতের তফসিলভুক্ত ২২টি ভাষাই ঢাকে। কর্মসূচিটি আছে ইন্ডিয়াএআই মিশনের ব্যাখ্যায় আর ভারতের নিজের ভাষায় এআই নিয়ে লেখায়।

সর্বমের পোস্টে তিন পর্বের প্রি-ট্রেনিং তালিকাভুক্ত, তারপর সুপারভাইজড ফাইন-টিউনিং, তারপর একটি অ্যাসিনক্রোনাস GRPO-ভিত্তিক ব্যবস্থায় রিইনফোর্সমেন্ট লার্নিংয়ের ধাপ, যার পুরস্কারে যাচাইযোগ্য পরীক্ষা ও রুব্রিকভিত্তিক স্কোরিং মিলিয়ে গণিত, কোডিং ও টুল ব্যবহারে প্রয়োগ হয়।