Skip to content
গুগলের আটজন লেখক ২০১৭ সালের ১২ জুন ট্রান্সফর্মার পেপার প্রকাশ করেন, আর আটটি GPU-তে সাড়ে ৩ দিনের প্রশিক্ষণের পর এর বড় মডেল ইংরেজি থেকে জার্মান অনুবাদে ২৮.৪ BLEU পায়
এআই ও প্রযুক্তি

গুগলের আটজন লেখক ২০১৭ সালের ১২ জুন ট্রান্সফর্মার পেপার প্রকাশ করেন, আর আটটি GPU-তে সাড়ে ৩ দিনের প্রশিক্ষণের পর এর বড় মডেল ইংরেজি থেকে জার্মান অনুবাদে ২৮.৪ BLEU পায়

অলঙ্করণ: tuput

বাংলা

২০১৭ সালের পেপারটি এক শব্দ করে পড়ার পদ্ধতি ছেড়ে দিল, আর বাক্যের প্রতিটি শব্দকে একসঙ্গে অন্য প্রতিটি শব্দের দিকে তাকাতে দিল। এর বড় মডেল ইংরেজি থেকে জার্মান অনুবাদে আগের সেরা ফলকে ২ BLEU-র বেশি ছাড়িয়ে গেল, আর লামা ৩, জেমিনি ১.০, ডিপসিক-ভি৩ এবং সর্বম ১০৫বি, সবকটিকেই তাদের নির্মাতারা ট্রান্সফর্মার বলে বর্ণনা করেছেন।

· · 9 মিনিটের পাঠ

২০১৭ সালের ১২ জুন আটজন গবেষক arXiv প্রিপ্রিন্ট সার্ভারে “Attention Is All You Need” নামে একটি পেপার প্রকাশ করেন। তাতে বর্ণনা করা হয় ট্রান্সফর্মারকে, একটি নেটওয়ার্ক যা পেপারের অ্যাবস্ট্র্যাক্টের ভাষায় “শুধু অ্যাটেনশন ব্যবস্থার ওপর ভিত্তি করে, রিকারেন্স আর কনভোলিউশন পুরোপুরি বাদ দিয়ে” তৈরি। পেপারের বড় মডেল WMT ২০১৪ ইংরেজি থেকে জার্মান পরীক্ষায় ২৮.৪ BLEU পায়, যা অনুবাদের একটি প্রচলিত স্কোর, যেখানে বেশি মানে ভালো। অ্যাবস্ট্র্যাক্ট বলছে, এটি এনসেম্বল-সহ আগের সেরা ফলকে ২ BLEU-র বেশি ছাড়িয়ে যায়, আর ৬.১ অনুচ্ছেদ বলছে প্রশিক্ষণে লেগেছিল আটটি এনভিডিয়া P100 GPU-তে সাড়ে ৩ দিন।

লেখকেরা ছিলেন আশিস ভাসওয়ানি, নোয়াম শাজির, নিকি পারমার, জাকব উসকোরাইট, লিওন জোন্স, এডান গোমেজ, লুকাশ কাইজার এবং ইলিয়া পোলোসুখিন, তালিকাভুক্ত গুগল ব্রেন, গুগল রিসার্চ আর ইউনিভার্সিটি অফ টরন্টোর অধীনে। পেপারে একটি পাদটীকা আছে, যাতে বলা হয়েছে তালিকার ক্রম এলোমেলো আর আটজনই সমান অবদান রেখেছেন। এটি ২০১৭ সালে ক্যালিফোর্নিয়ার লং বিচে কনফারেন্স অন নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমসে উপস্থাপিত হয়, তখন যার নাম ছিল NIPS (কার্যবিবরণীর পাতায় এটি ৩০তম খণ্ডে তালিকাভুক্ত)। একটি বড় ভাষা মডেল কীভাবে প্রশিক্ষিত হয় লেখাটি বলে স্থাপত্য বেছে নেওয়ার পর কী ঘটে। এই লেখাটি স্থাপত্য নিয়ে।

এক সময়ে একটি শব্দ পড়া কেন বাধা ছিল

২০১৭ সালের আগে শীর্ষস্থানীয় অনুবাদ ব্যবস্থাগুলো ব্যবহার করত রিকারেন্ট নিউরাল নেটওয়ার্ক। পেপার বর্ণনা করেছে সেগুলো কীভাবে কাজ করে: একটি রিকারেন্ট নেটওয়ার্ক শব্দগুলোর ওপর দিয়ে ক্রমানুসারে যায় আর প্রতিটি অবস্থানে একটি চলমান সারসংক্ষেপ তৈরি করে, যা হিসাব করা হয় আগের সারসংক্ষেপ আর বর্তমান শব্দ থেকে। প্রতিটি ধাপের জন্য আগেরটি দরকার হয় বলে, পেপার বলছে, এই নকশা “প্রশিক্ষণের উদাহরণগুলোর ভেতরে সমান্তরালভাবে চালানোকে বাধা দেয়”। একটি বাক্যের ধাপগুলো সমান্তরালে চালানো যেত না।

২০১৭ সালের ৩১ আগস্ট তারিখের জাকব উসকোরাইটের লেখা গুগলের ব্লগ পোস্ট একটি বাস্তব দৃষ্টান্ত দিয়েছে। “I arrived at the bank after crossing the…” বাক্যে “bank” মানে নদীর পাড় নাকি ঋণদাতা, তা ঠিক করতে নেটওয়ার্কের দরকার বাক্যের শেষ শব্দটি, “river” বা “road”। পোস্ট বলছে, একটি রিকারেন্ট নেটওয়ার্ক “bank” আর “river”-এর মাঝের প্রতিটি শব্দ ধাপে ধাপে পড়ার পরই কেবল তা ঠিক করতে পারে, আর একটি সিদ্ধান্তে যত বেশি ধাপ লাগে, নেটওয়ার্কের পক্ষে তা শেখা তত কঠিন। পোস্ট যোগ করেছে, প্রশিক্ষণে ব্যবহৃত চিপ GPU আর TPU সমান্তরাল কাজে ভালো, ক্রমিক কাজে দুর্বল।

কনভোলিউশনাল নেটওয়ার্ক, অন্য প্রধান নকশাটি, কম ক্রমিক। পেপার উল্লেখ করেছে, ByteNet আর ConvS2S নামের মডেলগুলোতে দুটি দূরের শব্দকে জুড়তে যত ধাপ লাগে তা শব্দ দুটির দূরত্বের সঙ্গে তখনও বাড়ে, ConvS2S-এ সরলরেখায়, ByteNet-এ লগারিদমের হারে।

ট্রান্সফর্মারের আগেও অ্যাটেনশন ছিল

অ্যাটেনশনের ধারণা এসেছিল আগে, আর যুক্ত করা হয়েছিল রিকারেন্ট নেটওয়ার্কে। ২০১৪ সালের ১ সেপ্টেম্বর দ্‌মিত্রি বাহদানাউ, কিউনহিউন চো আর ইয়োশুয়া বেনজিও একটি পেপার জমা দেন, যা পরে ICLR ২০১৫-এ মৌখিক উপস্থাপনা হয়, আর যা প্রচলিত নকশার একটি দুর্বলতার মুখোমুখি হয়। চলতি এনকোডার-ডিকোডার নকশায় ডিকোডার অনুবাদ শুরুর আগে পুরো উৎস বাক্যকে একটি নির্দিষ্ট দৈর্ঘ্যের ভেক্টরে ঠেসে দিত। লেখকেরা অনুমান করেছিলেন এটিই বাধা, আর মডেলকে দিলেন প্রতিটি শব্দ লেখার সময় উৎস বাক্যে যে অবস্থানগুলো তার জন্য গুরুত্বপূর্ণ সেগুলোকে “soft-search” করতে। তাঁরা ইংরেজি থেকে ফরাসিতে তখনকার সেরা ফ্রেজ-ভিত্তিক ব্যবস্থার সঙ্গে তুলনীয় অনুবাদের মান জানিয়েছেন।

এক বছর পর স্ট্যানফোর্ডের মিন-থাং লুওং, হিউ ফাম আর ক্রিস্টোফার ম্যানিং ইংরেজি-জার্মান অনুবাদে দুই ধরনের অ্যাটেনশন পরীক্ষা করেন। তাঁদের অ্যাবস্ট্র্যাক্ট জানায়, অ্যাটেনশনবিহীন তুলনীয় ব্যবস্থার চেয়ে ৫.০ BLEU লাভ, আর একটি সম্মিলিত মডেল WMT ২০১৫ ইংরেজি থেকে জার্মান কাজে ২৫.৯ BLEU পায়।

ট্রান্সফর্মার পেপার জানায় তখনকার দিনে অ্যাটেনশন সাধারণত কীভাবে ব্যবহৃত হত: “কয়েকটি ক্ষেত্র বাদে সবখানে” সেটি একটি রিকারেন্ট নেটওয়ার্কের পাশে বসত। আটজন লেখকের প্রস্তাব ছিল অ্যাটেনশন রেখে রিকারেন্ট অংশটি সরিয়ে দেওয়া। পেপারের অবদান-পাদটীকায় রিকারেন্ট নেটওয়ার্কের জায়গায় সেলফ-অ্যাটেনশন বসানোর প্রস্তাবের কৃতিত্ব দেওয়া হয়েছে উসকোরাইটকে।

একটি শব্দ কীভাবে বাক্যের বাকিটা দেখে

সেলফ-অ্যাটেনশন হল একটি বাক্যের ভেতরেই প্রয়োগ করা অ্যাটেনশন। গুগলের ব্লগ পোস্ট একই “bank” উদাহরণ দিয়ে এটি বুঝিয়েছে। “bank”-এর আরও ভালো উপস্থাপনা হিসাব করতে ট্রান্সফর্মার ওই শব্দটিকে বাক্যের অন্য প্রতিটি শব্দের সঙ্গে তুলনা করে। প্রতিটি তুলনা একটি অ্যাটেনশন স্কোর দেয়। স্কোরগুলো ঠিক করে অন্য প্রতিটি শব্দ কতটা অবদান রাখবে, ফলে “river” পেতে পারে উঁচু স্কোর। এরপর মডেল সব শব্দের উপস্থাপনার একটি ভারিত গড় নেয় আর তা একটি ছোট ফিড-ফরওয়ার্ড নেটওয়ার্কের ভেতর দিয়ে পাঠিয়ে নতুন উপস্থাপনা তৈরি করে। প্রতিটি শব্দ সরাসরি অন্য প্রতিটি শব্দকে দেখতে পায় বলে, পোস্ট বলছে, মডেল “river”-এর দিকে মনোযোগ দিয়ে এক ধাপেই সিদ্ধান্ত নিতে পারে।

পেপার তুলনার অংশগুলোর নাম দিয়েছে। একটি অ্যাটেনশন ফাংশন একটি কোয়েরি আর কী-ভ্যালু জোড়ার একটি সেটকে একটি আউটপুটে রূপ দেয়, আর আউটপুট হল ভ্যালুগুলোর ভারিত যোগফল। প্রতিটি ভ্যালুর ওজন আসে কোয়েরিকে ওই ভ্যালুর কী-এর সঙ্গে তুলনা করে। একটি উপায়ে এটি পড়া যায়: প্রতিটি শব্দ একটি প্রশ্ন করে (কোয়েরি), বাক্যের প্রতিটি শব্দ একটি লেবেল (কী) আর কিছু বিষয়বস্তু (ভ্যালু) সামনে রাখে, আর সবচেয়ে মিলে যাওয়া লেবেলগুলো সবচেয়ে বেশি বিষয়বস্তু জোগায়। পেপারের সংস্করণে কোয়েরিকে কী-গুলো দিয়ে গুণ করা হয়, কী-এর আকারের বর্গমূল দিয়ে ভাগ করা হয়, আর ফলগুলোকে এমন ওজনে রূপ দেওয়া হয় যাদের যোগফল এক।

ভাগের কারণটি লেখকেরা সন্দেহ হিসেবে বলেছেন: কী বড় হলে গুণফল বড় হয়ে যায়, যা ওজন-নির্ধারণী ফাংশনকে এমন এলাকায় ঠেলে দেয় যেখানে শেখা খুব ধীর। ডিকোডার, যা অনুবাদ লেখে এক সময়ে একটি শব্দ করে, পরের অবস্থানগুলোও নিজের কাছ থেকে লুকিয়ে রাখে, যাতে একটি ভবিষ্যদ্বাণী নির্ভর করতে পারে শুধু আগে থেকে জানা শব্দের ওপর।

গুগলের পোস্ট দ্বিতীয় একটি উদাহরণ দিয়েছে, একজোড়া বাক্য যেখানে “it” একটিতে প্রাণীটিকে আর অন্যটিতে রাস্তাটিকে বোঝায়। ফরাসিতে অনুবাদ নির্ভর করে বিশেষ্যের লিঙ্গের ওপর, আর পোস্ট বলছে সেখানে “animal” আর “street”-এর লিঙ্গ আলাদা। গুগলের বিবরণে ট্রান্সফর্মার দুটি বাক্যই ঠিকভাবে অনুবাদ করেছিল, যেখানে তখন ব্যবহৃত গুগল ট্রান্সলেট মডেল পারেনি, আর একটি অ্যাটেনশন হেডের চার্টে দেখা গিয়েছিল প্রতিটি বিশেষ্যের ওপর মনোযোগ প্রসঙ্গ অনুযায়ী সরে যাচ্ছে। এটি এক জোড়া বাক্যের ওপর গুগলের নিজের প্রদর্শনী, স্বাধীন পরীক্ষা নয়।

আটটি হেড, আর শব্দক্রমের জন্য একটি কৌশল

সব শব্দকে একটি মিশ্রণে গড় করলে খুঁটিনাটি হারায়, তাই পেপার পাশাপাশি কয়েকটি অ্যাটেনশন প্রক্রিয়া চালায়, যার নাম দিয়েছে মাল্টি-হেড অ্যাটেনশন। বেস মডেল ব্যবহার করে আটটি হেড। প্রতিটি কাজ করে ৫১২টি সংখ্যার উপস্থাপনার ৬৪টি সংখ্যার একটি অংশে, আর ফলগুলো শেষে জোড়া হয়, ফলে মোট খরচ থাকে পুরো প্রস্থে কাজ করা একটি হেডের কাছাকাছি।

পেপারের টেবিল ৩ এই বাছাই পরীক্ষা করেছে একটি ডেভেলপমেন্ট সেটে (২০১৪-র নয়, ২০১৩-র নিউজ টেস্ট সেট)। একটিমাত্র হেড সেরা সেটিংয়ের চেয়ে ০.৯ BLEU কম পেয়েছে, আর হেড বেশি হয়ে গেলেও মান পড়েছে। লেখকেরা সেলফ-অ্যাটেনশন নিয়ে আলোচনায় যোগ করেছেন, আলাদা আলাদা হেড বিভিন্ন কাজ শিখছে বলে মনে হয়, আর অনেকগুলো বাক্যের ব্যাকরণ ও অর্থের সঙ্গে সম্পর্কিত বলে মনে হয়। এটি অ্যাটেনশন চার্ট পরীক্ষা করে পাওয়া একটি পর্যবেক্ষণ, প্রমাণ নয়।

রিকারেন্স নেই এমন নেটওয়ার্কের শব্দক্রমের কোনো বোধ থাকে না, কারণ সব শব্দকে একসঙ্গে দেখা হয়। লেখকেরা এর সমাধান করেন প্রতিটি শব্দের উপস্থাপনায় অবস্থানের তথ্য যোগ করে, বিভিন্ন তরঙ্গদৈর্ঘ্যের সাইন আর কোসাইন তরঙ্গ দিয়ে। অবস্থান শেখানোর চেষ্টাও তাঁরা করেছেন, আর দুটি সংস্করণ প্রায় একই ফল দিয়েছে: ডেভেলপমেন্ট সেটে বেস মডেলের ২৫.৭ BLEU বনাম ২৫.৮। তাঁরা সাইন সংস্করণটি রেখেছেন কারণ প্রশিক্ষণে দেখা যেকোনো বাক্যের চেয়ে লম্বা বাক্য এটি সামলাতে পারে।

২০১৭ সালের নকশার এটি একটি অংশ যা পরের মডেলগুলো বদলে দিয়েছে। সর্বমের ২০২৬ সালের মার্চের ব্লগ পোস্ট তাদের মডেলের বৈশিষ্ট্যের মধ্যে রোটারি পজিশনাল এম্বেডিং তালিকাভুক্ত করেছে, আর মেটার লামা ৩ পেপার বলছে, দীর্ঘতর প্রসঙ্গ সমর্থন করতে কোম্পানিটি তাদের রোটারি এম্বেডিংয়ের বেস ফ্রিকোয়েন্সি বাড়িয়ে ৫,০০,০০০ করেছে।

কেন এটি দ্রুত প্রশিক্ষিত হল

পেপারের টেবিল ১ স্তরের ধরনগুলোর তুলনা করেছে। একটি সেলফ-অ্যাটেনশন স্তর যেকোনো দুটি অবস্থানকে জুড়ে ধ্রুব সংখ্যক ক্রমিক ক্রিয়ায়, যেখানে একটি রিকারেন্ট স্তরের লাগে এমন একটি সংখ্যা যা বাক্যের দৈর্ঘ্যের সঙ্গে বাড়ে। পেপারের বেস মডেল আটটি এনভিডিয়া P100 GPU-সহ একটি মেশিনে ১,০০,০০০ ধাপ প্রশিক্ষিত হয়, প্রায় ১২ ঘণ্টা। বড় মডেলের লাগে ৩,০০,০০০ ধাপ, সাড়ে ৩ দিন। গুগলের ব্লগ বলছে প্রশিক্ষণ গতি পেয়েছে এক মাত্রা পর্যন্ত, যা গুগলের নিজের পরীক্ষা থেকে পাওয়া নিজস্ব দাবি।

পরের মানদণ্ডে মডেলটি ছোট ছিল। টেবিল ৩-এ বেস মডেলের জন্য ৬৫ মিলিয়ন প্যারামিটার তালিকাভুক্ত, নেটওয়ার্কের ভেতরের সামঞ্জস্যযোগ্য সংখ্যা, আর বড়টির জন্য ২১৩ মিলিয়ন। সাত বছর পরে বর্ণিত মেটার লামা ৩-এর ফ্ল্যাগশিপের আছে ৪০৫ বিলিয়ন, প্রায় ১,৯০০ গুণ।

সেলফ-অ্যাটেনশনের নিজেরও একটি খরচ আছে। প্রতিটি শব্দকে অন্য প্রতিটি শব্দের সঙ্গে তুলনা করার অর্থ প্রতি স্তরের কাজ বাক্যের দৈর্ঘ্যের বর্গের সঙ্গে বাড়ে, আর পেপার বলছে সেলফ-অ্যাটেনশন রিকারেন্ট স্তরের চেয়ে সস্তা কেবল তখনই যখন বাক্য উপস্থাপনার প্রস্থের চেয়ে ছোট। লেখকেরা খুব লম্বা ইনপুটের জন্য অ্যাটেনশনকে কাছের শব্দের একটি প্রতিবেশে সীমিত রাখার পরামর্শ দিয়েছেন, ভবিষ্যতের কাজ হিসেবে। মেটার পেপার লম্বা লেখায় দেরিতে প্রশিক্ষণ দেওয়ার একই কারণ দিয়েছে: সেলফ-অ্যাটেনশনের কম্পিউট অনুক্রমের দৈর্ঘ্যের সঙ্গে দ্বিঘাতে বাড়ে, তাই লামা ৩ তার ১,২৮,০০০ টোকেনের প্রসঙ্গে পৌঁছেছে প্রিট্রেনিংয়ের শেষ পর্যায়ে।

সংখ্যাগুলো, আর যেটি মেলে না

পেপারের মূল ফলগুলো WMT ২০১৪ অনুবাদ কাজের newstest2014 সেটে। ইংরেজি থেকে জার্মানে টেবিল ২ দেখাচ্ছে বড় মডেল ২৮.৪ BLEU, আগের সেরা এন্ট্রি ConvS2S মডেলের একটি এনসেম্বলের ২৬.৩৬-এর বিপরীতে। ইংরেজি থেকে ফরাসিতে অ্যাবস্ট্র্যাক্ট আর টেবিল ২ একটি একক মডেলের জন্য ৪১.৮ BLEU দিয়েছে, অথচ একই পেপারের ৬.১ অনুচ্ছেদের একটি বাক্য বলছে ৪১.০। টেবিল আর অ্যাবস্ট্র্যাক্ট একে অপরের সঙ্গে মেলে, লেখাটি আলাদা, তাই সংখ্যাটি এখানে অ্যাবস্ট্র্যাক্ট যেমন দিয়েছে তেমনই উদ্ধৃত হল, অমিলটি উল্লেখ করে।

লেখকেরা মডেলটিকে ভিন্ন একটি কাজেও পরীক্ষা করেছেন, ইংরেজি কনস্টিটুয়েন্সি পার্সিং, যা বাক্যের ব্যাকরণগত কাঠামোর লেবেল দেয়। চার স্তরের একটি ট্রান্সফর্মার শুধু ওয়াল স্ট্রিট জার্নালের ডেটায় প্রশিক্ষিত হয়ে পায় ৯১.৩ F1, আর বাড়তি আধা-তত্ত্বাবধানাধীন ডেটা নিয়ে ৯২.৭। পেপার বলছে এটি আগে জানানো একটি বাদে সব মডেলকে ছাড়িয়ে গেছে, ওই একটি হল রিকারেন্ট নিউরাল নেটওয়ার্ক গ্রামার। গুগলের পোস্ট বলছে একই নেটওয়ার্ক সামান্য অভিযোজনে আগের পদ্ধতিগুলোর একটি বাদে সবকটিকে ছাড়িয়ে গেছে।

ফলগুলো লেখকদের নিজেদের, প্রকাশিত সংখ্যার সঙ্গে মেপে পাওয়া। পেপারের কোড tensor2tensor লাইব্রেরিতে প্রকাশ হয়েছিল, আর হার্ভার্ড NLP-র Annotated Transformer মডেলটিকে লাইন ধরে ধরে চালানোর মতো একটি নোটবুক হিসেবে আবার তৈরি করেছে।

লামা, জেমিনি, ডিপসিক আর সর্বমে কী থেকে গেল আর কী বদলাল

পেপারের উপসংহার বলছে, লেখকেরা ট্রান্সফর্মারকে লেখার বাইরে ছবি, শব্দ আর ভিডিওতে বাড়াতে চেয়েছিলেন। গুগলের ২০১৭ সালের পোস্ট বলেছিল সেই কাজ আগেই শুরু হয়ে গেছে। ২০১৮ সালের অক্টোবরের মধ্যে গুগলের BERT পেপার তাদের মডেলকে বলেছে বহুস্তর দ্বিমুখী ট্রান্সফর্মার এনকোডার, আর ওপেনএআইয়ের GPT-কে বর্ণনা করেছে বাঁ থেকে ডানে চলা একটি ট্রান্সফর্মার হিসেবে, যেখানে প্রতিটি টোকেন শুধু আগেরগুলোর দিকে তাকায়। হাগিং ফেস কোর্স পরে আসা মডেলগুলোকে GPT-ধরনের, BERT-ধরনের আর সিকোয়েন্স-টু-সিকোয়েন্স পরিবারে ভাগ করেছে।

আজকের বড় মডেলের নির্মাতারা নিজেদের কাজকে একই ভাষায় বর্ণনা করেন। মেটার পেপার বলছে লামা ৩ “একটি প্রমিত, ঘন ট্রান্সফর্মার স্থাপত্য ব্যবহার করে” আর এর লাভ আসে মূলত ডেটার মান, বৈচিত্র্য ও মাপ থেকে। মেটা প্রশিক্ষণের স্থিতির জন্য মিক্সচার অফ এক্সপার্টসের বদলে একটি ঘন মডেল বেছেছে। এর ছোট বদলগুলোর মধ্যে আছে ৮টি কী-ভ্যালু হেড-সহ গ্রুপড কোয়েরি অ্যাটেনশন, লেখার সময় মডেল যে মেমরি ধরে রাখে তা ছোট করতে। গুগলের জেমিনি রিপোর্ট বলছে জেমিনি মডেলগুলো “ট্রান্সফর্মার ডিকোডারের ওপর গড়া”, স্থিতিশীল প্রশিক্ষণ আর গুগলের TPU চিপের জন্য উন্নতি-সহ, আর সেগুলোর মধ্যে মাল্টি-কোয়েরি অ্যাটেনশনের নাম করেছে।

ডিপসিকের ভি৩ রিপোর্ট বলছে এর মূল স্থাপত্য ট্রান্সফর্মার কাঠামোর ভেতরেই আছে, সঙ্গে মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন, যাকে সর্বম বর্ণনা করেছে অ্যাটেনশনের একটি সংকুচিত রূপ হিসেবে যা মেমরির ব্যবহার কমায়, আর একটি মিক্সচার-অফ-এক্সপার্টস ফিড-ফরওয়ার্ড স্তর। মডেলটির মোট প্যারামিটার ৬৭১ বিলিয়ন, প্রতিটি টোকেনের জন্য ব্যবহৃত হয় ৩৭ বিলিয়ন। সর্বম AI তাদের ৩০ বিলিয়ন আর ১০৫ বিলিয়ন প্যারামিটারের মডেলকে বর্ণনা করেছে ১২৮টি এক্সপার্ট-সহ মিক্সচার-অফ-এক্সপার্টস ট্রান্সফর্মার মেরুদণ্ড হিসেবে। ৩০বি ব্যবহার করে গ্রুপড কোয়েরি অ্যাটেনশন, আর ১০৫বি ব্যবহার করে মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন। সর্বম বলছে দুটিই ভারতে প্রশিক্ষিত হয়েছে ইন্ডিয়াএআই মিশনের অধীনে দেওয়া কম্পিউটে আর প্রকাশিত হয়েছে Apache 2.0 লাইসেন্সে, যেমন আলোচিত হয়েছে ইন্ডিয়াএআই মিশনের লেখায় আর ভারত নিজের ভাষায় AI বানাচ্ছে সেই লেখায়। অনুবাদ, ট্রান্সফর্মার যে কাজের জন্য তৈরি হয়েছিল, সেটিও বিষয় ভাষিণী আর AI4Bharat-এর লেখার, যা ২২টি তফসিলভুক্ত ভারতীয় ভাষার জন্য মুক্ত অনুবাদ মডেল নিয়ে।

এই সবকটিতেই ২০১৭ সালের সেলফ-অ্যাটেনশন স্তর এখনও কেন্দ্র, আর বদল ঘটেছে কী আর ভ্যালু কীভাবে সংরক্ষিত হয়, অবস্থান কীভাবে এনকোড হয় এবং একক ফিড-ফরওয়ার্ড স্তরের জায়গায় কী বসে তাতে। ২০১৭ সালের বড় মডেলের ছিল ৬টি স্তর আর ১৬টি হেড; মেটার পেপার লামা ৩ ৪০৫বি-কে দিয়েছে ১২৬টি স্তর আর ১২৮টি অ্যাটেনশন হেড।

Share
Copied!

সূত্র ও আরও পড়ার জন্য

  1. Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
  2. Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
  3. NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
  4. Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
  5. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
  6. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
  7. Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
  8. Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
  9. Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
  10. Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
  11. DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
  12. Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
  13. Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
  14. Hugging Face LLM Course: How do Transformers work?

এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।

#transformer#attention is all you need#self-attention#neural machine translation#large language models#google research#sarvam ai#deep learning

ভালো লাগল? পরেরটিও পড়ুন।

একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।

একই বিভাগে আরও: এআই ও প্রযুক্তি
ওপেনএআইয়ের ২০২০ সালের স্কেলিং ল গবেষণাপত্র দেখেছিল মডেলের লস সাত মাত্রার ক্রমেরও বেশি জুড়ে পাওয়ার ল মেনে কমে, আর ডিপমাইন্ডের ২০২২ সালের চিনচিলা গবেষণাপত্র দেখিয়েছিল একই কম্পিউটে ৭০ বিলিয়ন প্যারামিটারের একটি মডেল ২৮০ বিলিয়নেরটিকে হারাতে পারে
মডেলের আকার, তার প্রশিক্ষণের লেখা আর কম্পিউটের খরচ পরস্পরের সঙ্গে বদলাবদলি করা যায়। প্রতিটি গবেষণাপত্র কী মেপেছিল, কী কী সংখ্যা ছেপেছিল, একটি পুনরাবৃত্তির চেষ্টা, আর নিয়মগুলো কতদূর পৌঁছায় সে বিষয়ে ২০২৬ সালের একটি নিরাপত্তা প্রতিবেদন কী বলে, তা এখানে।
মেটা Llama 3 405B প্রশিক্ষণ দিয়েছে ১৫.৬ ট্রিলিয়ন টোকেন আর ৩০.৮৪ মিলিয়ন জিপিইউ ঘণ্টায়, আর ওপেনএআইয়ের মানব মূল্যায়নকারীরা ১৭৫ বিলিয়ন প্যারামিটারের GPT-3-এর চেয়ে ১.৩ বিলিয়ন প্যারামিটারের টিউন করা মডেলকেই বেশি পছন্দ করেছেন
পাঁচটি গবেষণাপত্র আর একটি মডেল কার্ড দেখায় চ্যাটবটের ভেতরের মডেল তৈরির প্রতিটি ধাপ। ল্যাবগুলো নিজেরাই যে প্যারামিটার, টোকেন, জিপিইউ ঘণ্টা ও পরীক্ষার ফল প্রকাশ করেছে, তা সহ ধাপগুলো এখানে ক্রমানুসারে।
সর্বমের ১০৫ বিলিয়ন প্যারামিটারের মডেল প্রতিটি টোকেনের জন্য হিসাব করে ১০.৩ বিলিয়ন দিয়ে, মিক্সচার-অফ-এক্সপার্টস নকশায়, যার ধারা ১৯৯১ সালের একটি গবেষণাপত্র থেকে মিক্সট্রাল ও ডিপসিক পর্যন্ত
একটি ছোট রাউটার প্রতিটি শব্দ পাঠায় ১২৮টি উপ-নেটওয়ার্কের কয়েকটির কাছে, তাই যেকোনো একটি শব্দের জন্য মডেলের বেশির ভাগ অংশ অলস পড়ে থাকে। নকশাটি কোথা থেকে এল, মিক্সট্রাল, ডিপসিক ও সর্বম এটি কীভাবে ব্যবহার করে, আর এতে কী বাঁচে না, তা এখানে।
← সব লেখা