ভাষিণী ২২টি ভারতীয় ভাষায় কণ্ঠস্বর আর ৩৬টিতে লেখা পরিষেবা দিচ্ছে, আর আইআইটি মাদ্রাজের একটি ল্যাব ২২টি তফসিলভুক্ত ভাষার সবকটির জন্য খোলা অনুবাদ মডেল বানিয়েছে

ভারত সরকারের ভাষা প্ল্যাটফর্ম ভাষিণী ২০২৬ সালের ৯ ফেব্রুয়ারি পর্যন্ত ২২টি ভাষায় কণ্ঠস্বর পরিষেবা আর ৩৬টিতে লেখা পরিষেবা দিচ্ছিল, সরকারের প্রেস শাখা প্রেস ইনফরমেশন ব্যুরোর (পিআইবি) একটি ব্যাকগ্রাউন্ডার অনুযায়ী। একই নথি বলছে, প্ল্যাটফর্মে ৩৫০টির বেশি এআই মডেল ও ডেটাসেট আছে এবং ৪ বিলিয়নের বেশি, অর্থাৎ ৪০০ কোটি, ভাষাগত ইনফারেন্স সম্পন্ন হয়েছে। প্রতিটি ইনফারেন্স হলো একটি অনুরোধের ওপর মডেলের একবার চলা।

এই প্ল্যাটফর্মের খোলা ডেটাসেট ও মডেল আসে এআই৪ভারত থেকে। এটি ভারতীয় প্রযুক্তি প্রতিষ্ঠান (আইআইটি) মাদ্রাজের একটি ল্যাব, যা মিশনের ডেটা ম্যানেজমেন্ট ইউনিট হিসেবে কাজ করে। এর অনুবাদ মডেল IndicTrans2-কে তার নির্মাতারা বর্ণনা করেছেন সংবিধানের অষ্টম তফসিলের ২২টি ভাষার সবকটিকে সমর্থন করা প্রথম মডেল হিসেবে।

২০২২ সালের জুলাইয়ে শুরু হওয়া এক মিশন

ভাষিণী হলো জাতীয় ভাষা অনুবাদ মিশনের কাজের নাম। ইলেকট্রনিক্স ও তথ্যপ্রযুক্তি মন্ত্রক (এমইআইটিওয়াই) এটি চালায় ডিজিটাল ইন্ডিয়া ভাষিণী ডিভিশনের মাধ্যমে, যাকে সরকারি সাইট বলছে ডিজিটাল ইন্ডিয়া কর্পোরেশনের অধীনে একটি স্বাধীন ডিভিশন। পিআইবির ২০২২ সালের আগস্টের ফ্যাক্টশিটে নামটির পূর্ণরূপ “BHASa INterface for India”, আর সেখানে বলা আছে প্রধানমন্ত্রী গান্ধীনগরে ডিজিটাল ইন্ডিয়া সপ্তাহ ২০২২-এর উদ্বোধনে এটি চালু করেন। স্বরাজ্যের বিবরণে তারিখ ২০২২ সালের ৪ জুলাই, আর তিন বছরের জন্য ৪৯৫.৫১ কোটি টাকার বরাদ্দের কথা জানানো হয়েছে।

ফ্যাক্টশিটে তিনটি লক্ষ্যের কথা আছে। নাগরিকেরা ভারতীয় ভাষায় ইন্টারনেট ও ডিজিটাল পরিষেবা পাবেন, কণ্ঠস্বরের মাধ্যমেও। ভাষা দান নামের একটি ক্রাউডসোর্সিং উদ্যোগ জনসাধারণের কাছ থেকে ভাষার ডেটা সংগ্রহ করে। আর ভাষিণী কাজ করে সমন্বয়কারী হিসেবে, যা সরকার, শিল্প, শিক্ষাজগৎ ও স্টার্ট-আপের অবদান একটি খোলা ভান্ডারে জড়ো করে।

২০২৬ সালের ফেব্রুয়ারিতে পিআইবি পরিষেবাগুলোর বর্ণনা দিয়েছিল অনুবাদ, কথা থেকে লেখা, লেখা থেকে কথা, লিপ্যন্তর (একটি শব্দ অন্য লিপিতে লেখা) আর নথি বোঝা হিসেবে। তাদের ভাষায় উদ্দেশ্য হলো, অন্য প্ল্যাটফর্ম যেন ভাষা ও কণ্ঠস্বরের সুবিধা গোড়া থেকে না বানিয়েই যোগ করতে পারে। পিআইবির ২০২৬ সালের ১০ ফেব্রুয়ারির ব্যাকগ্রাউন্ডারে প্ল্যাটফর্মটি ১.২ মিলিয়ন ডাউনলোড পেরিয়েছিল, আর tuput ২০২৬ সালের ১৫ অক্টোবর সরকারি সাইটটি পড়ার সময় সেখানে মোবাইল অ্যাপের ডাউনলোড ১.৪ মিলিয়নের বেশি লেখা ছিল। কম্পিউট তহবিলসহ সরকারের বৃহত্তর এআই কর্মসূচি নিয়ে আলোচনা আছে ভারত নিজের ভাষায় এআই বানাচ্ছে, tuput-এর সেই লেখায়।

আইআইটি মাদ্রাজের ল্যাব

এআই৪ভারত নিজেকে বর্ণনা করে আইআইটি মাদ্রাজের একটি গবেষণা ল্যাব হিসেবে, যা ওপেন-সোর্স অবদানের মাধ্যমে ভারতীয় ভাষার জন্য এআই নিয়ে কাজ করে। তালিকাভুক্ত কাজের ক্ষেত্র লিপ্যন্তর, ভাষা বোঝা ও তৈরি, অনুবাদ, কথা শনাক্তকরণ আর কণ্ঠস্বর সংশ্লেষণ। হোম পেজে নাম থাকা অর্থদাতারা হলেন এমইআইটিওয়াই, রোহিণী নিলেকানি ফিলানথ্রপিস, একস্টেপ ফাউন্ডেশন, সি-ড্যাক, মাইক্রোসফট, গুগল আর ইয়োট্টা ইনফ্রাস্ট্রাকচার।

পেজটি ডেটা সংগ্রহের জন্য এমইআইটিওয়াই-এর অনুদানের কথা বলে, যাকে সে ভাষিণীর ডেটা ম্যানেজমেন্ট ইউনিটের অংশ বলছে। IndicTrans2 গবেষণাপত্রও কৃতজ্ঞতা স্বীকারে একই কথা বলেছে: ওই প্রকল্পের অনুবাদক, পর্যালোচক ও ভাষাবিশেষজ্ঞদের খরচ জুগিয়েছিল ডিজিটাল ইন্ডিয়া ভাষিণী মিশন থেকে আইআইটি মাদ্রাজকে ওই ভূমিকার জন্য দেওয়া একটি অনুদান।

২০২৩ সালের মার্চে আইআইটি মাদ্রাজের ডিরেক্টর ভি কামাকোটি মানিকন্ট্রোলকে বলেছিলেন, এআই৪ভারতের নিলেকানি সেন্টারের গবেষকদের কাছে ভাষিণীর অংশ হিসেবে নয়টি ভাষার একটি কাজ করা লেখা-অনুবাদক আছে। প্রতিবেদনে আরও আছে, সেন্টারটি ২০২২ সালে নিলেকানি ফিলানথ্রপিসের ৩৬ কোটি টাকার অনুদান নিয়ে শুরু হয়।

IndicTrans2, ২২টি ভাষার মডেল

ভারতের ২২টি তফসিলভুক্ত ভাষা অষ্টম তফসিলে তালিকাভুক্ত, আর গবেষণাপত্র জানাচ্ছে জনসংখ্যার প্রায় ৯৭ শতাংশ প্রথম ভাষা হিসেবে এর কোনো একটি বলেন। ওই ২২টি কীভাবে বাছা হয়েছিল, তার পটভূমির জন্য দেখুন অষ্টম তফসিল নিয়ে tuput-এর ব্যাখ্যা।

IndicTrans2 গবেষণাপত্রটির ১৪ জন লেখক, নেতৃত্বে জয় গালা ও প্রঞ্জল চিতালে। এটি ২০২৩ সালের ২৫ মে arXiv-এ পোস্ট হয় এবং ২০২৩ সালের ডিসেম্বরে Transactions on Machine Learning Research-এ প্রকাশিত হয়। এর সারসংক্ষেপ বলছে, এই কাজের আগে ২২টি ভাষার সবকটিকে ছুঁয়ে কোনো সমান্তরাল প্রশিক্ষণ ডেটা ছিল না (দুটি ভাষায় একই বাক্য, যা থেকে মডেল শেখে), সবকটিকে ছুঁয়ে কোনো বেঞ্চমার্ক ছিল না, আর সবকটিকে সমর্থন করে এমন কোনো অনুবাদ মডেলও ছিল না।

দলটি তিনটি জিনিস বানিয়েছে। ভারত সমান্তরাল কর্পাস সংগ্রহে (BPCC) আছে প্রায় ২৩০ মিলিয়ন বাক্যজোড়া, তার ১২৬ মিলিয়ন নতুন যোগ হয়েছে, এর মধ্যে ৬,৪৪,০০০ জোড়া হাতে অনুবাদ করা। IN22 একটি পরীক্ষার সেট, যাকে লেখকেরা বলছেন ২২টি ভাষার সবকটিতে একই বিষয়বস্তুসহ প্রথম বেঞ্চমার্ক। IndicTrans2 নিজে ১.১ বিলিয়ন প্যারামিটারের, সঙ্গে প্রায় ২১১ মিলিয়ন প্যারামিটারের ডিস্টিলড সংস্করণ আছে, আর একটি দ্বিতীয় সংস্করণ ইংরেজির মধ্যস্থতা ছাড়াই সরাসরি ভারতীয় ভাষা থেকে ভারতীয় ভাষায় অনুবাদ করে, ৪৬২টি দিকে।

মানের প্রশ্নে লেখকেরা জানাচ্ছেন, BLEU, chrF++ ও COMET নামের স্বয়ংক্রিয় স্কোর ব্যবহার করে IndicTrans2 মেটার খোলা NLLB মডেলের এবং গুগল ও মাইক্রোসফটের বাণিজ্যিক ব্যবস্থার সমতুল্য ফল করেছে। এগুলো লেখকদের নিজেদের মূল্যায়ন। গবেষণাপত্রে আরও আছে, দীর্ঘদিন চলা শেয়ারড টাস্ক ওয়ার্কশপ অন মেশিন ট্রান্সলেশন ১৬ বছরে মোট মাত্র ৪টি ভারতীয় ভাষা ছুঁয়েছিল।

মডেল ও ডেটা খোলা লাইসেন্সে প্রকাশ করা হয়েছে। GitHub রিপোজিটরিতে মডেল চেকপয়েন্টগুলো MIT লাইসেন্সে তালিকাভুক্ত, আর তার রিলিজ নোটে ২০২৫ সালের ১৮ জানুয়ারির একটি দীর্ঘ-প্রসঙ্গ আপডেটের কথা আছে। ভারতের এআই ভান্ডার এআইকোশেও IndicTrans2-এর একটি এন্ট্রি আছে, উৎস সংস্থা হিসেবে ডিজিটাল ইন্ডিয়া ভাষিণী ডিভিশনের নামসহ। tuput যেসব পেজ খুলে দেখেছে, তার কোনোটিই বলে না ভাষিণীর কোনো নির্দিষ্ট পরিষেবার ভেতরে কোন মডেল চলে, তাই এই লেখা তেমন কোনো দাবি করছে না।

নিচের টেক্সট আর কথ্য ভাষার ডেটা

IndicTrans2 একই গোষ্ঠীর আগের প্রকাশগুলোর ওপর দাঁড়িয়ে। প্রথমটি IndicNLPSuite, ২০২০ সালের নভেম্বরে Findings of EMNLP-এ প্রকাশিত। এতে ছিল ১১টি ভাষা আর ভারতীয় ইংরেজিতে ৮.৮ বিলিয়ন টোকেনের একভাষিক টেক্সট, বেশির ভাগ সংবাদ ক্রল থেকে নেওয়া, আর ALBERT-এর ছোট নকশায় তৈরি প্রি-ট্রেইনড ভাষা মডেল।

ACL ২০২৩-এর পরবর্তী কাজটি, সুমন্ত দোদ্দাপনেনি ও সহকর্মীদের, কর্পাসটিকে (IndicCorp) বাড়িয়ে ২৪টি ভাষায় ২০.৯ বিলিয়ন টোকেনে নিয়ে যায়, আগের আকারের প্রায় ২.৩ গুণ। এতে আরও এসেছে IndicXTREME, ২০টি ভাষায় নয়টি কাজের একটি বেঞ্চমার্ক, ১০৫টি মূল্যায়ন সেটসহ, যার ৫২টি নতুন, আর IndicBERT v2, এমন একটি ভাষা মডেল যা লেখকদের মতে একটি শক্তিশালী বেসলাইনের চেয়ে গড়ে ২ পয়েন্ট ভালো।

কথ্য ভাষার ক্ষেত্রে IndicSUPERB গবেষণাপত্রের Kathbath কর্পাসে আছে ২০৩টি জেলার ১,২১৮ জন অবদানকারীর কাছ থেকে ১২টি ভাষায় ১,৬৮৪ ঘণ্টার লেবেল করা কথা। ২০২৪ সালের মার্চে পোস্ট হওয়া IndicVoices-এ আছে ১৪৫টি জেলার ১৬,২৩৭ জন বক্তার ২২টি ভাষায় ৭,৩৪৮ ঘণ্টা, যার ১,৬৩৯ ঘণ্টা প্রতিলিপি করা হয়েছে। এর মাত্র ৯ শতাংশ পড়ে শোনানো লেখা, বাকিটার ৭৪ শতাংশ আগাম প্রস্তুতিহীন কথা আর ১৭ শতাংশ কথোপকথন।

কোথায় ব্যবহার হচ্ছে

পিআইবির ২০২৬ সালের ফেব্রুয়ারির ব্যাকগ্রাউন্ডারে দুটি ঘটনার কথা আছে। বারাণসীর কাশী তামিল সঙ্গমে প্রধানমন্ত্রীর হিন্দি ভাষণ ভাষিণীর মাধ্যমে রিয়েল টাইমে তামিলে অনুবাদ হয়েছিল। মহাকুম্ভ ২০২৫-এ ভাষিণী-চালিত কুম্ভ সাহ’এআই’য়ক নামের একটি চ্যাটবট ১১টি ভাষায় তীর্থযাত্রীদের পথনির্দেশ ও অনুষ্ঠানের তথ্য দিয়েছিল এবং লেখা ও কণ্ঠস্বরের লাইভ অনুবাদসহ হারানো-পাওয়ার একটি সুবিধা চালিয়েছিল। সরকারি সাইটে প্রধানমন্ত্রীর একটি উক্তিও আছে: ২০২৪ সালে সুপ্রিম কোর্টের হীরক জয়ন্তী অনুষ্ঠানে তাঁর ভাষণ রিয়েল টাইমে ইংরেজিতে অনুবাদ হয়েছিল।

সংসদ যোগ দিয়েছে ২০২৫ সালের ১৮ মার্চ। লোকসভা সচিবালয় ও এমইআইটিওয়াই সংসদ ভাষিণীর জন্য একটি চুক্তি সই করেছে, যেখানে সংসদ সরঞ্জামগুলো সূক্ষ্ম সুরে বাঁধার জন্য তার বিতর্কের সংরক্ষণাগার দেবে আর ভাষিণী দেবে অনুবাদ। পিআইবির বিজ্ঞপ্তিতে চারটি পরিকল্পিত ব্যবহার আছে: অতীতের বিতর্কের নথি আঞ্চলিক ভাষায় অনুবাদ, সংসদের ওয়েবসাইটের জন্য একটি চ্যাটবট, ভারতীয় ভাষায় কথা থেকে লেখা, আর রিয়েল-টাইম প্রতিলিপিসহ কথা থেকে কথায় রূপান্তর। ভাষিণীর হোম পেজে এখন একটি সংসদ ভাষিণী ব্যানার আছে, যা সংসদের জন্য অনুবাদ, প্রতিলিপি ও সারসংক্ষেপের কথা বলছে।

রেলে ডিজিটাল ইন্ডিয়া ভাষিণী ডিভিশন আর সেন্টার ফর রেলওয়ে ইনফরমেশন সিস্টেমস (ক্রিস) ২০২৫ সালের ৯ জুন একটি চুক্তি সই করেছে, যাতে ন্যাশনাল ট্রেন এনকোয়ারি সিস্টেম আর অভিযোগ পোর্টাল রেলমদদের মতো ব্যবস্থায় ২২টি ভাষায় লেখা, কথা ও অক্ষর পড়ার সরঞ্জাম আসে। অল ইন্ডিয়া রেডিও জানিয়েছিল, পরবর্তী মাসগুলোতে কর্মশালা ও পাইলট শুরু হওয়ার কথা। ভাষিণীর আমাদের প্রভাব পেজ আলাদাভাবে ওই এনকোয়ারি সিস্টেমকে লেখা ও কথা শনাক্তকরণ ব্যবহার করা পরিষেবা হিসেবে তালিকাভুক্ত করেছে, সঙ্গে সরকারের সিপিজিআরএএমএস অভিযোগ পোর্টাল, যেটিকে সে বর্ণনা করেছে ২২টি ভাষায় লেখা আর ১৬টিতে কণ্ঠস্বর দেওয়া হিসেবে।

আদালতে সুপ্রিম কোর্ট ন্যাশনাল ইনফরমেটিক্স সেন্টারের সঙ্গে বানানো তার SUVAS সরঞ্জাম দিয়ে রায় ১৮টি ভারতীয় ভাষায় অনুবাদ করে এবং ই-এসসিআর পোর্টালে রাখে, পিআইবির ২০২৬ সালের ১১ ফেব্রুয়ারির ব্যাকগ্রাউন্ডার অনুযায়ী। ব্যাকগ্রাউন্ডার বলছে অনুবাদ বিচারিক কাঠামোর ভেতরে পর্যালোচনা করা হয়, আর SUVAS কোন ভাষা ইঞ্জিন ব্যবহার করে তা বলেনি। ভারতের আদালতে এআই নিয়ে tuput-এর প্রতিবেদনে আদালতের সব সরঞ্জামের পূর্ণ তালিকা আর তার পেছনের নথি আছে।

প্রকাশিত সংখ্যাগুলো যা খোলা রাখে

IndicTrans2 গবেষণাপত্র সরাসরি বলেছে কোথায় কাজ বাকি। তাতে আছে, মণিপুরি (মেইতেই), সাঁওতালি আর দেবনাগরী লিপিতে সিন্ধির ক্ষেত্রে মডেলগুলো সাধারণীকরণ করে শুধু সীমিত মাত্রায়, আর প্রচুর ডেটা আছে এমন ভাষা ও অল্প ডেটার ভাষার মধ্যে কর্মক্ষমতার ফারাক থেকে গেছে। লেখকেরা কারণ হিসেবে দেখিয়েছেন মানুষের চিহ্নিত করা ডেটার অভাব আর ওয়েবে কম বিষয়বস্তু।

প্ল্যাটফর্ম কী কী সমর্থন করে, তার গণনা পরিষেবা আর তারিখ ধরে আলাদা। পিআইবির ২০২৬ সালের ফেব্রুয়ারির ব্যাকগ্রাউন্ডারে ২২টি কণ্ঠস্বরের ভাষা আর ৩৬টি লেখার ভাষা, অথচ সরকারি সাইট একটি অভিযোগ ব্যবস্থার জন্য ১৬টি ভাষায় কণ্ঠস্বর তালিকাভুক্ত করেছে। এই লেখার জন্য যেসব পেজ খোলা হয়েছে, তাতে চালু পরিষেবার নির্ভুলতার কোনো সংখ্যা নেই, আর রেল ও সংসদের চুক্তিগুলো পরিকল্পিত কাজের বর্ণনা। ভারতীয় ভাষায় কথা-ব্যবস্থার স্বাধীন তুলনা জড়ো করা আছে কণ্ঠস্বর ও অনুবাদ মডেলের tuput-এর সংকলনে।

এআই৪ভারতের নিজের পেজগুলোতে ৪০০-র বেশি জেলা থেকে ১৫,০০০ ঘণ্টার প্রতিলিপি করা কথার একটি লক্ষ্য তালিকাভুক্ত আছে, যা একটি লক্ষ্যমাত্রা, সম্পন্ন মোট নয়।