Skip to content
ভারতীয় দলগুলো এখন এমন টোকেনাইজার বানাচ্ছে যা তামিল ও তেলুগু পড়ে শব্দপিছু প্রায় দুটি টোকেনে, কয়েকটি বৈশ্বিক টোকেনাইজারে যেখানে লাগে চার বা তার বেশি
এআই ও প্রযুক্তি

ভারতীয় দলগুলো এখন এমন টোকেনাইজার বানাচ্ছে যা তামিল ও তেলুগু পড়ে শব্দপিছু প্রায় দুটি টোকেনে, কয়েকটি বৈশ্বিক টোকেনাইজারে যেখানে লাগে চার বা তার বেশি

অলঙ্করণ: tuput

বাংলা

গ্নানি.এআই, সর্বম ও ক্রুট্রিম এআই প্রত্যেকে এমন একটি টোকেনাইজার প্রকাশ করেছে, যা ভারতীয় ভাষার লেখার জন্য চ্যাটবটের দরকারি টুকরোর সংখ্যা কমায়। ২০২৬ সালের ১৯ মে প্রকাশিত গ্নানির টোকেনাইজার তামিল ও তেলুগুতে শব্দপিছু প্রায় ২.০ টোকেন জানিয়েছে, যেখানে যে টোকেনাইজার থেকে তারা শুরু করেছিল তাতে লাগত ৩.৭ ও ৩.৯।

· · 7 মিনিটের পাঠ

ভারতীয় গবেষণা দলগুলো চ্যাটবটের প্রথম ধাপটি, লেখাকে টুকরো করার টোকেনাইজারটি, নতুন করে গড়েছে, যাতে তামিল ও তেলুগুতে শব্দপিছু প্রায় দুটি টুকরো লাগে। গ্নানি.এআই ও এনভিডিয়ার গবেষকরা ২০২৬ সালের ১৯ মে জানিয়েছেন, তামিলে শব্দপিছু গড়ে ১.৯৯৬৯ টোকেন আর তেলুগুতে ২.০৬৩২। নেমোট্রন ৩ ন্যানোর নিজের টোকেনাইজার, যেটি থেকে তাঁরা শুরু করেছিলেন, একই পরীক্ষার লেখায় নিয়েছিল ৩.৭৪৮০ ও ৩.৯২১২।

আরও দুটি ভারতীয় উদ্যোগ একই দিকে যাচ্ছে। সর্বম এআই ২০২৪ সালের ২৪ অক্টোবর সর্বম-১-এর সঙ্গে একটি টোকেনাইজার প্রকাশ করেছে এবং দশটি ভারতীয় ভাষায় শব্দপিছু ১.৪ থেকে ২.১ টোকেন জানিয়েছে। বেঙ্গালুরুর ক্রুট্রিম এআই-এর গবেষকরা ২০২৫ সালের নভেম্বরে একটি গবেষণাপত্র দিয়েছেন, যার টোকেনাইজার মিউট্যান্ট-ইন্ডিক ইংরেজি, ২২টি ভারতীয় ভাষা ও কোড মিলিয়ে গড় সংখ্যা মেটার ল্লামা ৪-এর টোকেনাইজারের চেয়ে ৩৯.৫% কমায়, লেখকদের নিজেদের মাপে।

নিচের প্রতিটি ফার্টিলিটির অঙ্ক এসেছে টোকেনাইজার-নির্মাতা দলের কাছ থেকে, তাই প্রতিটিই নির্মাতার দাবি।

টোকেন কী আর ফার্টিলিটি কী গোনে

ভাষা-মডেল কখনও অক্ষর বা পুরো শব্দ দেখে না। টোকেনাইজার আগে লেখাকে টোকেনে কেটে নেয়, আর মডেল শুধু সেগুলোই পড়ে ও লেখে। ওপেনএআই-এর সহায়তা-কেন্দ্র বলছে, একটি টোকেন হতে পারে একটি অক্ষর, শব্দের একটি অংশ, একটি পুরো শব্দ বা একটি যতিচিহ্ন। ইংরেজির জন্য তারা মোটামুটি নিয়ম দিয়েছে: একটি টোকেন প্রায় চারটি অক্ষর বা শব্দের তিন-চতুর্থাংশ, তাই ১০০ টোকেন প্রায় ৭৫ শব্দ। তারা যোগ করেছে, অন্য ভাষায় অক্ষর, শব্দ ও টোকেনের সম্পর্ক ভিন্ন হতে পারে।

বেশির ভাগ বর্তমান টোকেনাইজার বাইট পেয়ার এনকোডিং নামের একটি পদ্ধতি ব্যবহার করে। হাগিং ফেসের নথি তা বর্ণনা করেছে: একক অক্ষর থেকে শুরু করে বারবার সেই জোড়াটি মিলিয়ে নেওয়া, যা লেখার নমুনায় পাশাপাশি সবচেয়ে বেশি আসে, যতক্ষণ না শব্দভান্ডার লক্ষ্যমাত্রার আকারে পৌঁছায়। চালু শব্দ শেষে একটি টোকেন হয়ে যায়, আর বিরল শব্দ ভেঙে যায় টুকরোয়। নমুনায় যে লিপি প্রচুর, সে পায় লম্বা, কার্যকর টোকেন। যে লিপি দুর্লভ, তাকে কাটা হয় ছোট ছোট টুকরোয়।

ফার্টিলিটি সেই প্রভাবেরই মাপ: শব্দপিছু গড়ে কতগুলো টোকেন লাগে। সর্বম ও গ্নানি দুজনেই একইভাবে একে সংজ্ঞায়িত করে, আর সর্বম ইংরেজিকে ধরেছে প্রায় ১.৪। সংখ্যা কম মানে একই বাক্যে কম টোকেন। মডেল ওই টোকেন কীভাবে কাজে লাগায় তার পটভূমির জন্য দেখুন চ্যাটবট কীভাবে পরের শব্দটি আন্দাজ করে ও বড় ভাষা-মডেল কীভাবে প্রশিক্ষিত হয়।

বিল আর স্মৃতি কেন দুটোই টোকেন গোনে

টোকেন বিলিংয়ের একক, আবার স্মৃতিরও। ওপেনএআই-এর সহায়তা-কেন্দ্র বলছে, টোকেন-ভিত্তিক দাম নির্ভর করে মডেল ও টোকেনের ধরনের ওপর, ইনপুট ও আউটপুটের দাম আলাদা। অ্যানথ্রপিকের দামের পাতা তার হার দিয়েছে প্রতি দশ লক্ষ টোকেনে। টোকেন কনটেক্সট উইন্ডোও ঠিক করে, অর্থাৎ মডেল একবারে কতটা নজরে রাখতে পারে।

ওই পাতার আরেকটি সতর্কতা যেকোনো বিক্রেতা-তুলনায় খাটে: প্রতি দশ লক্ষ টোকেনে কম দাম মানে মোট খরচ কম হওয়ার নিশ্চয়তা নয়, কারণ মডেলগুলো একই লেখাকে আলাদাভাবে টোকেনে ভাঙতে পারে। অ্যানথ্রপিকের দামের পাতা নিজের মডেল নিয়েও একই কথা বলেছে, জানিয়েছে যে তাদের নতুন টোকেনাইজার একই লেখার জন্য প্রায় ৩০% বেশি টোকেন তৈরি করে।

গ্নানির একটি কাজের উদাহরণে ১,০০০ শব্দের একটি তেলুগু নথি তাদের টোকেনাইজারে দাঁড়ায় প্রায় ২,০৬৩ টোকেনে, অপরিবর্তিত নেমোট্রন টোকেনাইজারে ৩,৯২১, আর কুয়েন ৩.৫-এর টোকেনাইজারে ৪,৭৫৩। গ্নানি বলছে, একই কনটেন্টের জন্য অনুমান-খরচ তাতে মোটামুটি অর্ধেক। গড়ে তাদের ১.৮৮ টোকেন বনাম ভিত্তি-মডেলের ৩.২০ ধরলে, গ্নানি যোগ করেছে, নির্দিষ্ট টোকেন-বরাদ্দে প্রায় ৩৭% বেশি শব্দ ধরে।

যে ২০২৩ সালের সমীক্ষা ফারাকটি মেপেছিল

ওরেভাওঘেনে আহিয়া ও ছয় সহ-লেখক ২০২৩ সালের ২৩ মে আরএক্সআইভে একটি গবেষণাপত্র দিয়ে একাডেমিক ভিত্তি জুগিয়েছিলেন, যা প্রকাশিত হয় ইএমএনএলপি ২০২৩ সম্মেলনে। অনেক ভাষায় বাক্যের একটি সমান্তরাল সেট গেল চ্যাটজিপিটির জিপিটি-৩.৫-টার্বো মডেলের পেছনের টোকেনাইজারের ভেতর দিয়ে। লেখকরা পেয়েছেন, নিজস্ব লিপির ভাষাগুলোতে, তেলুগু তার একটি, একই তথ্যের জন্য ল্যাটিন-লিপির ভাষার চেয়ে পাঁচ গুণ পর্যন্ত টোকেন লেগেছে।

এক্সএলসাম সারাংশ-মানদণ্ডে তাঁরা জানিয়েছেন, তেলুগু ও আমহারিকে প্রম্পটিং ও জেনারেশন দুটোতেই চার গুণ পর্যন্ত বেশি খরচ হয়। তাঁদের সারসংক্ষেপের উপসংহার, সমর্থিত বহু ভাষার বক্তারা বেশি দাম দিয়েছেন অথচ পেয়েছেন খারাপ ফল, আর এই বক্তারা সাধারণত এমন অঞ্চলের, যেখানে এপিআই আগে থেকেই কম নাগালের। লেখকদের অনুমান, কারণ প্রশিক্ষণ-ডেটার ভারসাম্যহীনতা, কেননা টোকেনাইজারটি মূলত ল্যাটিন-লিপির ভাষায়, প্রধানত ইংরেজিতে, প্রশিক্ষিত।

ওই সমীক্ষা ২০২৩ সালে একজন বিক্রেতার টোকেনাইজার যেমন ছিল তা নিয়ে। নিচের দিকে ক্রুট্রিমের সারণিতে আছে ওপেনএআই-এর খোলা মডেল জিপিটি-ওএসএস, যার হিন্দিতে শব্দপিছু লাগে ১.৭২ আর ওড়িয়ায় ৬.২৬ টোকেন।

সর্বম: মডেলের আগে বানানো টোকেনাইজার

সর্বম-১, ২০২৪ সালের ২৪ অক্টোবর খোলা মডেল হিসেবে প্রকাশিত, দশটি ভারতীয় ভাষা ও ইংরেজির জন্য ২০০ কোটি প্যারামিটারের একটি মডেল। সর্বম বলছে, বিদ্যমান বহুভাষিক মডেলে ভারতীয় লিপির জন্য প্রায়ই শব্দপিছু ৪ থেকে ৮ টোকেন লাগে, আর তাদের নিজের টোকেনাইজার সব সমর্থিত ভাষায় ১.৪ থেকে ২.১-এ পৌঁছায়। শব্দভান্ডারে আছে ৬৮,০৯৬ টোকেন, তার ৪,০৯৬টি পরে যোগ করার জন্য সংরক্ষিত।

সংস্থাটির যুক্তি, এতে তাদের প্রশিক্ষণ-ডেটাও টানা যায়। ২ ট্রিলিয়ন টোকেনের ভারতীয় ভাষার সংকলন, তাদের অনুমানে, অন্য জনপ্রিয় টোকেনাইজারে ৬ থেকে ৮ ট্রিলিয়ন টোকেন পার করার সমান প্রশিক্ষণ-সংকেত দেয়। প্রশিক্ষণে লেগেছিল ইয়োটার শক্তি ক্লাস্টারের ১,০২৪টি জিপিইউ, পাঁচ দিন ধরে।

২০২৬ সালের ৬ মার্চ সর্বম আরও দুটি বড় খোলা মডেল, সর্বম ৩০বি ও সর্বম ১০৫বি, প্রকাশ করেছে, যার টোকেনাইজার ১২টি লিপি জুড়ে সব ২২টি তালিকাভুক্ত ভারতীয় ভাষা ধরে। লেখাটি অনুযায়ী, এটি অন্য ওপেন-সোর্স টোকেনাইজারকে ছাড়িয়ে যায় এবং ওড়িয়া, সাঁওতালি ও মণিপুরি (মেইতেই)-র মতো স্বল্প-সম্পদের ভাষায় উল্লেখযোগ্যভাবে বেশি কার্যকর। লেখাটি তুলনাটি দেখিয়েছে একটি চার্টে, যার লেখায় কোনো মান নেই, তাই তার থেকে কোনো অঙ্ক উদ্ধৃত করা যায় না। সর্বম আরও জানিয়েছে, ভারতীয় ভাষায় জেনারেশনে ৩০বি মডেলের মাপা সার্ভিং-সুবিধা এই টোকেনাইজার ১০ গুণ পর্যন্ত বাড়ায়। জাতীয় কর্মসূচিতে এই মডেলগুলো কোথায় আছে তার জন্য দেখুন ভারত নিজের ভাষায় এআই গড়ছে।

গ্নানি: মডেল নতুন করে প্রশিক্ষণ না দিয়ে টোকেনাইজার বাড়ানো

গ্নানি.এআই ভারতীয় ভাষার জন্য ভয়েস ও কথোপকথনভিত্তিক এআই বানায়। এনভিডিয়ার লেখকদের নিয়ে গ্নানির ২০২৬ সালের ১৯ মের তারিখের লেখাটি শুরু করেছে এনভিডিয়ার নেমোট্রন ৩ ন্যানোর টোকেনাইজার থেকে, যা এসেছে একটি মিস্ট্রাল মডেল থেকে উত্তরাধিকারে এবং প্রশিক্ষিত মূলত ইংরেজি ও ইউরোপীয় লেখায়। গ্নানি বলছে, এর অধীনে ভারতীয় ভাষার একটিমাত্র শব্দ ফুলে চার বা তার বেশি টোকেন হতে পারে। গ্নানির লক্ষ্য ছিল মডেলকে নতুন করে প্রশিক্ষণ না দিয়ে বা তার স্থাপত্য না বদলে টোকেনাইজারটি হিন্দি, বাংলা, তামিল ও তেলুগুর জন্য বাড়ানো।

দুটি পদ্ধতির তুলনা হয়েছে। একটি ভারতীয় ভাষার লেখা নিয়ে বিদ্যমান মার্জ-সারণিতেই বাইট পেয়ার এনকোডিং চালিয়ে যায়, লক্ষ্য ৩২,০০০-এর বেশি নতুন মার্জ-নিয়ম। অন্যটি আলাদা একটি ভারতীয় ভাষার টোকেনাইজার প্রশিক্ষণ দেয় এবং তার টোকেনগুলো পুরো স্ট্রিং হিসেবে শব্দভান্ডারে জুড়ে দেয়। গ্নানির উদাহরণ আসে তামিল থেকে। வாடிக்கையாளர், “গ্রাহক”, শব্দটি তাদের ব্যবসায়িক প্রয়োগে চালু। প্রত্যয়যুক্ত রূপ வாடிக்கையாளர்களுக்கு, “গ্রাহকদের জন্য”, প্রশিক্ষণে হয়তো কখনও আসেনি, আর দ্বিতীয় পদ্ধতিতে এমন শব্দ অক্ষর ধরে ধরে টুকরোয় ফিরে যেতে পারে। গ্নানি বলছে, প্রথম পদ্ধতিতে তা গড়া হয় শেখা অংশ থেকে।

জানানো ফল প্রথম পদ্ধতির পক্ষে, যাকে গ্নানি বলে ইন্ডিক কন্টিনিউড বিপিই। চার ভাষা জুড়ে গড় ১.৮৮০২, তুলনায় সর্বম ৩০বি-র ২.০০৬৩, জেমা ৩ ২৭বি-র ২.১১৩২, জিপিটি-ওএসএস-২০বি-র ২.৭৯ ও অপরিবর্তিত নেমোট্রনের ৩.১৯৯২। ভাষা ধরে, হিন্দি নেমেছে ২.০৫৭৮ থেকে ১.৪৮৯৯-এ, বাংলা ৩.০৬৯৭ থেকে ১.৯৭০৯-এ, তামিল ৩.৭৪৮০ থেকে ১.৯৯৬৯-এ আর তেলুগু ৩.৯২১২ থেকে ২.০৬৩২-এ। হিন্দিতে (১.৪০৯৩) ও বাংলায় (১.৬৯৪২) গ্নানির নিজের সারণিতে এগিয়ে সর্বম ৩০বি, আর লেখাটি বলছে তাদের প্রশিক্ষণের ওজন দ্রাবিড় ভাষার পক্ষে ছিল।

গ্নানির লেখা বলছে, তারা একটি জায়গায় আটটি ও আরেক জায়গায় সাতটি প্রকাশ্য মডেলের সঙ্গে তুলনা করেছে, আর মোট নয়টি টোকেনাইজারের কথা বলেছে, অথচ সারণিতে আটটি সারি, তার দুটি গ্নানির নিজের। সারণিতে সর্বম ৩০বি ও জেমা ৩ ২৭বি-র হিন্দি ও বাংলার মানও একই। লেখাটি এর কোনোটির ব্যাখ্যা দেয়নি।

ক্রুট্রিমের মিউট্যান্ট, আর সারণিগুলো কেন মেলে না

মিউট্যান্ট, ক্রুট্রিম এআই-এর সৌভিক রানা, অরুল মেনেজেস, আশিস কুলকার্নি, চন্দ্র খাটরি ও শুভম আগরওয়ালের একটি গবেষণাপত্র, ২০২৫ সালের ৫ নভেম্বর আরএক্সআইভে এসেছিল ইন্ডিকসুপারটোকেনাইজার নামে। ২০২৬ সালের ২২ মার্চ সংশোধিত সংস্করণটি মিউট্যান্ট নাম নিয়েছে এবং একটি রেসিপি দিয়েছে: লিপি ধরে বরাদ্দ করা শব্দভান্ডার, ভাষা-সচেতন প্রি-টোকেনাইজেশন, আর প্রশিক্ষণের দুটি ধাপ, প্রথমে শব্দের টুকরো, তারপর ঘন ঘন আসা বহু-শব্দের একক।

সারসংক্ষেপে বলা হয়েছে, গড় ফার্টিলিটি ল্লামা ৪-এর চেয়ে ৩৯.৫% ভালো এবং সুত্রার চেয়ে ১৮% ভালো, যাকে লেখকরা বর্তমান সেরা বলেছেন, আর ল্লামা ৪-এর তুলনায় অনুমান-থ্রুপুটে ৪৪% লাভ, অথচ ইংরেজি ও ভারতীয় ভাষার মানদণ্ডে তুলনীয় ফল বজায় রয়েছে। এই তুলনা ধরে ইংরেজি, ২২টি ভারতীয় ভাষা ও কোড। গবেষণাপত্রের সারণি ৩-এ মিউট্যান্ট-ইন্ডিকের ফার্টিলিটি ২৪টি কলামের ২০টিতে সবচেয়ে কম। তামিলে এটি ২.১২, ল্লামা ৪-এর ৫.৮৭-এর বিপরীতে, তেলুগুতে ১.৮৮ বনাম ৪.৫৩, আর হিন্দিতে ১.২৩ বনাম ১.৮৩। লেখাটি আলাদা করে উল্লেখ করেছে ওড়িয়ায় ল্লামা ৪-এর ১০.৫১।

তিনটি সূত্রকে একটি লিগ-তালিকায় মেলানো যায় না। জিপিটি-ওএসএস মিউট্যান্ট গবেষণাপত্রে তেলুগুতে পায় ৩.১৩, গ্নানির লেখায় ৩.৯০। সর্বমের ২০২৪ সালের টোকেনাইজার সর্বমের হিসাবে তার দশ ভাষায় ১.৪ থেকে ২.১, আর মিউট্যান্ট সারণিতে তেলুগুতে ২.৬৩। পরীক্ষার লেখা, ভাষা ও শব্দ গোনার পদ্ধতি প্রতিটিতে আলাদা, আর সে কারণেই শুধু একটি সারণির ভেতরের অঙ্কই তুলনীয়। এই লেখার জন্য দেখা সূত্রগুলোতে কোনোটিই বাইরের কোনো দল পুনরুৎপাদন করেছে বলে নেই।

কম টোকেন যা বদলায় আর যা বদলায় না

কম টোকেনের সংখ্যা খরচ কমায় আর কনটেক্সট উইন্ডোতে বেশি লেখা ধরায়। ভালো উত্তর আপনা থেকে আসে না। মিউট্যান্টের লেখকরা জানিয়েছেন, তাঁদের পরীক্ষা করা মানদণ্ডগুলোতে তাঁদের টোকেনাইজার তুলনীয় ফল বজায় রেখেছে, এমন যেকোনো গবেষণাপত্রে এই দাবিটিই খোঁজার। গ্নানি যুক্তি দিয়েছে, মডেল দেখার আগেই যে টোকেনাইজার লেখাকে টুকরো টুকরো করে, ভারতীয় ভাষার ডেটায় যত ফাইন-টিউনিংই হোক তার ক্ষতিপূরণ হয় না।

টোকেন-ভাঙা এমন কাজকেও আকার দেয় যার সঙ্গে দামের কোনো সম্পর্ক নেই। আদিত্য সিং ও ডিজে স্ট্রাউসের ২০২৪ সালের ফেব্রুয়ারির একটি গবেষণাপত্র পেয়েছে, জিপিটি-৩.৫ ও জিপিটি-৪ সংখ্যাকে কীভাবে টোকেনে ভাঙে তা পাটিগণিতে তাদের নির্ভুলতা বদলে দেয়, ডান থেকে বাঁয়ে গোষ্ঠী করলে ফল অনেকটা উন্নত হয়।

মিউট্যান্টের লেখকরা বলছেন, তাঁরা তাঁদের মূল্যায়ন-ডেটাসেট ও কাঠামো প্রকাশ করবেন, যাতে অন্য দলগুলো একই তুলনা চালাতে পারে।

Share
Copied!

সূত্র ও আরও পড়ার জন্য

  1. Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
  2. Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
  3. Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
  4. Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
  5. arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
  6. Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
  7. ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
  8. Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
  9. OpenAI Help Center, Understanding and counting tokens
  10. Claude Platform Docs, Pricing
  11. Hugging Face Transformers documentation, Tokenization algorithms

এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।

#tokenizer#fertility#sarvam#gnani ai#indic languages#large language models#krutrim#tamil

ভালো লাগল? পরেরটিও পড়ুন।

একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।

একই বিভাগে আরও: এআই ও প্রযুক্তি
গুগলের আটজন লেখক ২০১৭ সালের ১২ জুন ট্রান্সফর্মার পেপার প্রকাশ করেন, আর আটটি GPU-তে সাড়ে ৩ দিনের প্রশিক্ষণের পর এর বড় মডেল ইংরেজি থেকে জার্মান অনুবাদে ২৮.৪ BLEU পায়
আজকের চ্যাটবটগুলোর পেছনের নকশাটি ধরে ধরে বোঝানো হয়েছে, পেপারের নিজের টেবিল আর নদীর দিকে তাকাতে হওয়া একটি শব্দ নিয়ে গুগলের নিজের উদাহরণ দিয়ে। ২০১৭ সালের নকশার কোন অংশ পরের মডেলগুলো রেখেছে, বদলেছে বা ছেড়েছে, তাও আছে।
প্যাট্রিক লুইস ও ১১ সহলেখকের ২০২০ সালের ২২ মে-র একটি গবেষণাপত্রে বর্ণিত রিট্রিভাল-অগমেন্টেড জেনারেশন একটি চ্যাটবটকে উত্তর দেওয়ার আগে ২ কোটি ১০ লক্ষ অংশের একটি সূচি থেকে প্যাসেজ আনতে দেয়
নথি দেখে উত্তর দেওয়া চ্যাটবটের পেছনের চারটি ধাপের সহজ ভাষায় ব্যাখ্যা: একটি উইকিপিডিয়া ডাম্পের জায়গায় আরেকটি বসানোর ২০২০ সালের পরীক্ষা, লেখা টুকরো করে কাটলে যেভাবে প্রসঙ্গ হারায়, আর পরিমাপ করা সমাধান।
সর্বমের সারস ভি৪ ২২টি তফসিলভুক্ত ভাষার সবগুলো পাঁচ ধরনের আউটপুটে প্রতিলিপি করে, আর বুলবুল ভি৪ ফ্ল্যাশ কণ্ঠ মডেল ২৫০ মিলিসেকেন্ডের কমে কথা বলতে শুরু করে, জানিয়েছে সর্বম
একটি মডেল শোনে, আরেকটি কথা বলে, আর এতে হিন্দি, তামিল বা বাংলায় ফোনকল চালানো যায়। প্রকাশের খুঁটিনাটি, ভারতীয় ভাষার কথায় ওয়ার্ড এরর রেট ভুল বিচার করে বলে সর্বমের যুক্তি, আর দাবিগুলোর পেছনের প্রকাশ্য পরীক্ষা।
← সব লেখা