অলঙ্করণ: tuput
বাংলা
গুগল ডিপমাইন্ড বলছে, জেমিনি ডিসিশন ১ একটি ইনপুট আর ১,০০০টি পর্যন্ত প্রশ্ন নিয়ে ১৫০ থেকে ২৫০ মিলিসেকেন্ডে প্রতিটি বিকল্পের সম্ভাবনা ফেরত দেয়, প্রতি দশ লক্ষ ইনপুট টোকেনে ০.১০ ডলার দামে। স্বতন্ত্র পরীক্ষক আর্টিফিশিয়াল অ্যানালিসিস ১৩ অক্টোবর ২০২৬ থেকে এই শ্রেণির মডেলের র্যাঙ্কিং করছে, আর তাদের দ্বিতীয় সংস্করণ নম্বর দেয় ঘোষিত আত্মবিশ্বাস সৎ কি না তার ওপর।
গুগল ডিপমাইন্ড ২০২৬ সালের ১১ নভেম্বর জেমিনি ডিসিশন ১ আর জেমিনি ডিসিশনস এপিআই চালু করেছে। মডেলটি একটি একটি শব্দ করে উত্তর লেখে না। গুগলের বর্ণনায় এটি “একটি ফরওয়ার্ড পাসে আপনার প্রার্থী বিকল্পগুলোর স্কোর দেয়” এবং প্রতিটির জন্য একটি সম্ভাবনা ফেরত দেয়। একটি অনুরোধে লেখা, ছবি, অডিও, ভিডিও বা ২৫৬ হাজার টোকেন পর্যন্ত পিডিএফের একটি যৌথ ইনপুট নিয়ে ১,০০০টি পর্যন্ত স্বাধীন প্রশ্ন থাকতে পারে। গুগল শুরু থেকে শেষ পর্যন্ত সময় লিখেছে ১৫০ থেকে ২৫০ মিলিসেকেন্ড, আর দাম প্রতি দশ লক্ষ ইনপুট টোকেনে ০.১০ ডলার, আউটপুট টোকেনের কোনো বিল নেই।
জেমিনি ডিসিশন ১ সেই শ্রেণির, যাকে পরীক্ষক সংস্থা আর্টিফিশিয়াল অ্যানালিসিস বলছে সিদ্ধান্ত মডেল। ২০২৬ সালের ১৩ অক্টোবর থেকে সংস্থাটি এদের জন্য একটি প্রকাশ্য সূচক চালাচ্ছে, আর ৮ নভেম্বর প্রকাশিত তার দ্বিতীয় সংস্করণ নম্বর দেয় মডেলের উত্তর ঠিক কি না তার, এবং ঘোষিত আত্মবিশ্বাসে ভরসা করা যায় কি না তারও। এই মডেলগুলো কী করে, সূচক কী মাপে, আর কোন সংখ্যাগুলো নির্মাতাদের কাছ থেকে এসেছে, নিচে তা বলা হলো।
সম্ভাবনা ফেরত দেওয়া একটি বহুনির্বাচনী পরীক্ষা
আর্টিফিশিয়াল অ্যানালিসিস ধারণাটি বোঝায় একটি গ্রাহক বার্তা দিয়ে: “সাহায্য করুন! আমার পেআউট তিন দিন ধরে ব্যর্থ হচ্ছে আর কাল আমার ভাড়া দিতে হবে।” একটি সিদ্ধান্ত মডেলকে এর ওপর তিনটি প্রশ্ন দেওয়া হয়: বার্তাটি কোন দলের কাছে যাবে (বিলিং, প্রযুক্তি বা অ্যাকাউন্ট), এটি জরুরি কি না (হ্যাঁ বা না), আর লেখক কতটা বিরক্ত (শান্ত, হতাশ বা ক্ষুব্ধ)। এটি তিনটির উত্তর দেয় একটি কলে, প্রতিটি বিকল্পের একটি সম্ভাবনাসহ। একই কাজ ভাষা মডেলকে দিলে সে একটি কাঠামোবদ্ধ উত্তর লেখে, যেখানে প্রতিটি প্রশ্নের একটি করে উত্তর থাকে, কোনো সম্ভাবনা ছাড়া। ওই ভাষা মডেলগুলো কীভাবে তৈরি হয় আর কেন সেগুলো একবারে একটি শব্দ লেখে, তা জানতে দেখুন একটি বড় ভাষা মডেল কীভাবে প্রশিক্ষিত হয়।
গুগলের এপিআই তিন ধরনের প্রশ্ন সমর্থন করে। হ্যাঁ-না প্রশ্নে একটি শর্ত সত্য হওয়ার সম্ভাবনা ফেরত আসে। পছন্দের প্রশ্ন নেয় ২ থেকে ২৫৫টি বিকল্প এবং ফেরত দেয় বিজয়ী আর প্রতিটি প্রার্থীর একটি স্বাভাবিকীকৃত সম্ভাবনা। স্কোরের প্রশ্ন একটি ক্রমানুসারে সাজানো রুব্রিকের বিপরীতে ইনপুটকে নম্বর দেয় এবং ফেরত দেয় একটি ভারযুক্ত স্কোর আর প্রতিটি স্তরের একটি সম্ভাবনা। প্রতিটি উত্তরের সঙ্গে থাকে ০ থেকে ১ মানের একটি আত্মবিশ্বাসের মান, “যাতে আপনার কোড অস্পষ্ট ক্ষেত্রগুলোকে একটি বিকল্প ব্যবস্থায় বা মানুষ পর্যালোচকের কাছে পাঠাতে পারে”, লেখাটির ভাষায়।
গুগল নিজেদের ব্যবহারের নামও বলেছে। জেমিনি নোটবুক এপিআইটি ব্যবহার করে একটি রাউটার হিসেবে, যা প্রতিটি প্রশ্ন একটি মডেল স্তর ও একটি চিন্তার স্তরে পাঠায়, আর গুগল বলছে এতে দৈনন্দিন প্রশ্নের সাড়া দেওয়া যায় ৪০ শতাংশ পর্যন্ত কম বিলম্বে। লেখাটি বলছে, ১৫০ থেকে ২৫০ মিলিসেকেন্ডের সংখ্যাটি ১৬ হাজার টোকেন পর্যন্ত প্রেক্ষাপটের জন্য প্রযোজ্য। এ-ও বলছে, যৌথ ইনপুটের বিল প্রতি অনুরোধে একবার হয়, যত প্রশ্নই করা হোক না কেন, প্রতিটি প্রশ্ন যোগ করে শুধু নিজের নির্দেশ আর বিকল্পের লেখা।
অন্য নির্মাতাদের একই ধারণা
জেমিনি ডিসিশন ১ এসেছে এমন একটি ক্ষেত্রে, যেখানে আগে থেকে কয়েকজন প্রবেশকারী ছিল। লিকুইড এআই ২০২৬ সালের ৫ অক্টোবর তাদের ডি১ এনেছে “আমাদের প্রথম সিদ্ধান্ত মডেল” হিসেবে, যা এখন লেখা ও ছবি সমর্থন করে। লিকুইড বলছে, এটি প্রশ্নগুলো এক ফরওয়ার্ড পাসে পড়ে, কোনো টোকেন তৈরি না করেই সম্ভাবনা ফেরত দেয়, আর একটি লেখাভিত্তিক সিদ্ধান্তে লাগে ২০০ থেকে ৩০০ মিলিসেকেন্ড। ১৬ নভেম্বর তারা ডি১.২ আর ডি১.২-আলট্রা প্রকাশ করেছে, যাতে যোগ হয়েছে অডিও ইনপুট আর পাঁচটি নতুন কাজ, যেমন একটি ইনভয়েস থেকে মান পড়া, একটি নোটে ব্যক্তিগত তথ্যের প্রতিটি অংশ খুঁজে বের করা, বা স্ক্যান করা ফর্মে একটি স্বাক্ষরের চারপাশে বাক্স আঁকা।
১১ নভেম্বর, গুগলের চালুর একই দিনে, সাবকোয়াড্র্যাটিক সাবকিউ স্ন্যাপ ১.২ প্রকাশ করেছে। কোম্পানিটি এর দাম রেখেছে প্রতি দশ লক্ষ ইনপুট টোকেনে ০.০৪ ডলার, বলছে এটি ২৫৬ হাজার টোকেন পর্যন্ত ইনপুট সামলায়, এবং প্রকাশ করেছে লংডিসিশনবেঞ্চ, নয়টি দীর্ঘ-নথির পরীক্ষা, যাকে তারা উন্মুক্ত বলে বর্ণনা করছে এবং বলছে শিগগিরই গিটহাব ও হাগিং ফেসে দেবে।
তত দিনে শিক্ষাজগতের কাজও শুরু হয়ে গিয়েছিল। ডেলিপ রাও আর ক্রিস ক্যালিসন-বার্চের একটি গবেষণাপত্র, প্রথম জমা পড়ে ২০২৬ সালের ২৪ সেপ্টেম্বর, দুটি সিদ্ধান্ত মডেলকে, জেভ ও পারপ্লেক্সিটির ডিসাইডার, লেখা উত্তরের বিচারক হিসেবে ব্যবহৃত ভাষা মডেলের সঙ্গে তুলনা করেছে।
কেন সম্ভাবনাই আসল কথা
সম্ভাবনা কাজে লাগে শুধু তখনই, যখন তা সৎ। মডেল যখন বলে ৮০ শতাংশ, তখন একশো বারের প্রায় আশি বার তার ঠিক হওয়া উচিত। গবেষকেরা একে বলেন ক্যালিব্রেশন। গুও ও সহকর্মীরা ২০১৭ সালে আইসিএমএল সম্মেলনে জানান, এক দশক আগের নেটওয়ার্কের মতো নয়, আধুনিক নিউরাল নেটওয়ার্ক খারাপভাবে ক্যালিব্রেটেড, আর টেম্পারেচার স্কেলিং, একটি সংখ্যার সমন্বয়, তাঁদের চেষ্টা করা বেশির ভাগ তথ্যসেটে তা ঠিক করতে বিস্ময়করভাবে কার্যকর ছিল। কাদাভাথ ও সহকর্মীরা ২০২২ সালে জানান, বড় ভাষা মডেল বহুনির্বাচনী ও সত্য-মিথ্যা প্রশ্নে ভালোভাবে ক্যালিব্রেটেড, “যখন সেগুলো সঠিক বিন্যাসে দেওয়া হয়”।
আর্টিফিশিয়াল অ্যানালিসিস ব্যবহারিক কাজটি বলেছে: একটি সিদ্ধান্ত মডেলের উত্তরে সাধারণত কাজ করা হয় যখন তার আত্মবিশ্বাস একটি সীমা পেরোয়, নইলে সেটি যায় একজন মানুষের বা আরও সক্ষম একটি মডেলের কাছে। গুগলও একই ধরনের কথা বলেছে। এই ব্যবস্থা কাজ করে শুধু যদি “৯০ শতাংশ নিশ্চিত” লেবেলের অর্থ ৯০ শতাংশের কাছাকাছি কিছু হয়।
স্বতন্ত্র সূচক কী মাপে
আর্টিফিশিয়াল অ্যানালিসিস তাদের ডিসিশন ইনডেক্স ভি১.০ চালু করে ২০২৬ সালের ১৩ অক্টোবর চারটি মূল্যায়ন নিয়ে, প্রতিটির ওজন ২৫ শতাংশ: এএ-ওমনিসায়েন্স-ডিসিশন (৫০০টি ব্যক্তিগত প্রশ্ন, প্রতিটিতে চারটি উত্তর আর একটি “আমি জানি না” বিকল্প), এইচএলই-মাল্টিচয়েস (হিউম্যানিটি’স লাস্ট এক্সামের ৫১৩টি শুধু-লেখার বহুনির্বাচনী প্রশ্ন), হোয়েন২কল (মডেলের উত্তর দেওয়া, টুল ডাকা, আরও তথ্য চাওয়া বা প্রত্যাখ্যান করা উচিত কি না তা নিয়ে এনভিডিয়ার পরীক্ষা) এবং ওয়াইল্ডগার্ডটেস্ট (এআই২-এর একটি নিরাপত্তা শ্রেণিবিভাগের সেট)। জেভ ১.১৩ ৫৮ নিয়ে এগিয়ে ছিল, তার পেছনে গ্লাইড আর মাইক্রোসফট-ডিসিশন-১ ৫৪ নিয়ে। খরচ ছিল প্রতি দশ লক্ষ কাজে ১৭ থেকে ১৯৯ ডলার, আর মধ্যমান সময় প্রতিটি কাজে ০.০৬ থেকে ০.৫ সেকেন্ড।
ভি১.০ লেখাটি এ-ও জানিয়েছিল যে প্রতিটি সিদ্ধান্ত মডেল অতি-আত্মবিশ্বাসী ছিল। প্রায় সব সম্ভাবনার স্তরে নির্ভুলতা মডেলের দেওয়া সম্ভাবনার নিচে পড়েছিল, আর এই ফাঁকের কারণ আর্টিফিশিয়াল অ্যানালিসিস প্রধানত জ্ঞান ও যুক্তির পরীক্ষাগুলোতে খুঁজে পেয়েছিল। টুল ডাকা আর শ্রেণিবিভাগে বেশির ভাগ মডেল তুলনামূলক ভালোভাবে ক্যালিব্রেটেড ছিল। “আমি জানি না” বিকল্পটি যুক্ত হয়েছে এআই হ্যালুসিনেশন নিয়ে আমাদের ব্যাখ্যায় বর্ণিত সমস্যার সঙ্গে: সূচক গোনে ভুল করা মডেল কতবার আন্দাজ না করে বলে যে সে জানে না।
৮ নভেম্বর প্রকাশিত দ্বিতীয় সংস্করণ সূচকের ৪৫ শতাংশ নিয়ে গেছে ব্যক্তিগত তথ্যসেটে, আগের ২৫ শতাংশ থেকে, যাতে মডেলগুলো প্রকাশ্য পরীক্ষার জন্য সাজিয়ে নেওয়া না যায়। এতে যোগ হয়েছে একটি ডিসিশন স্কোর। ঠিক উত্তরে স্কোর ৫০ থেকে ১০০-র মধ্যে, ভুল উত্তরে ৫০ থেকে ০-র মধ্যে, আর আত্মবিশ্বাস প্রতিটি অর্ধেকের ভেতরে স্কোর নাড়ায়। একটি মূল্যায়নজুড়ে স্কোর সমান ৫০ গুণ (১ যোগ নির্ভুলতা বিয়োগ ব্রিয়ার স্কোর), যেখানে ব্রিয়ার স্কোর হলো দেওয়া সম্ভাবনা আর উত্তর ঠিক ছিল কি না তার মধ্যকার ফাঁকের বর্গের গড়, আর ০ মানে নিশ্চিত এবং সব সময় ঠিক।
সংস্থাটি প্রভাবের একটি উদাহরণ দিয়েছে। তাদের নতুন এএ-পেপারক্লিপ পরীক্ষায়, ১,৫০০টি রেজিউমে, রসিদ, ইনভয়েস ও গবেষণাপত্রের একটি ব্যক্তিগত সেট, ক্লেফ ৩৬ শতাংশ নথিতে পাস করে আর সেলেরিস-১.১ ডিসিশন পাস করে ২৪ শতাংশে, কিন্তু ডিসিশন স্কোরে দুটি সমান, কারণ সেলেরিস-১.১ ডিসিশনের ব্রিয়ার স্কোর ভালো, ০.২৭-এর বিপরীতে ০.১৫।
দ্বিতীয় সংস্করণ এ-ও দেখিয়েছে যে তালিকা-মূল্য দিয়ে খরচ ঠিক হয় না। সিদ্ধান্ত মডেলগুলোর মধ্যে প্রতি দশ লক্ষ কাজের খরচ ৬০ গুণের বেশি আলাদা ছিল, সেলেরিস-১.১ ডিসিশনের ১৪ ডলার থেকে ক্লেফের ৮৫৯ ডলার। আর্টিফিশিয়াল অ্যানালিসিস বলছে, ড্রেক্স ম্যাক্স ভি১.১ ও ডিসাইডার ভি১.২-সহ বেশির ভাগ সিদ্ধান্ত মডেল একটি নথির ইনপুটের বিল করে সব প্রশ্নের জন্য একবার, আর গ্লাইড ভি১.২ বিল করে প্রতিটি প্রশ্নের জন্য। এর ফলে গ্লাইড ভি১.২-এর খরচ দাঁড়িয়েছে ৭৮০ ডলার, ড্রেক্স ম্যাক্স ভি১.১-এর ১০২ ডলারের বিপরীতে, যদিও তার তালিকা-মূল্য ছিল মাত্র ৩৩ শতাংশ বেশি।
বিকল্প ওলটপালট করলে কি উত্তর বদলায়?
ভাষা মডেলের একটি পরিচিত দুর্বলতা ক্রমের প্রতি সংবেদনশীলতা। পেজেশকপুর ও হ্রুশকা ২০২৩ সালের আগস্টে জানান, উত্তরের বিকল্পগুলোর ক্রম বদলালে বিভিন্ন বেঞ্চমার্কে কার্যক্ষমতায় প্রায় ১৩ থেকে ৭৫ শতাংশের ফারাক হয়েছে। ওয়াং ও সহকর্মীরা ২০২৩ সালের মে মাসে জানান, একটি ভাষা মডেল যখন দুটি উত্তরের বিচার করে, উত্তর দুটি যে ক্রমে আসে তা বদলালে র্যাঙ্কিং বেঁকে যেতে পারে। তাঁদের অ্যাবস্ট্র্যাক্টের একটি উদাহরণে চ্যাটজিপিটি বিচারক হলে ৮০টি পরীক্ষার প্রশ্নের ৬৬টিতে ভিকুনা-১৩বি চ্যাটজিপিটিকে হারিয়েছে।
সূচকের দ্বিতীয় সংস্করণ এটি পরীক্ষা করে এএ-সিমেট্রি দিয়ে: ১২০টি মূল প্রশ্ন আর ৪৪০টি রকমফের, যেখানে বিকল্পের ক্রম বদলানো, লেবেল অদলবদল করা আর হ্যাঁ-না প্রশ্নকে নেতিবাচক করা হয়েছে। ম্যামথ ২৭বি রকমফেরগুলোতে ৯৯ শতাংশ প্রশ্নে একই উত্তর বেছেছে, ড্রেক্স ম্যাক্স ভি১.১-এর ৯১ শতাংশ, গ্লাইড ভি১.২-এর ৮৮ শতাংশ আর ক্লেফের ৬৭ শতাংশের বিপরীতে। আর্টিফিশিয়াল অ্যানালিসিস বলছে, এই পরীক্ষায় এগিয়ে থাকার পেছনে চালিকা হলো জানি না বলে স্বীকার করার উঁচু হার। এর পদ্ধতির পাতা জানাচ্ছে, ২০২৬ সালের নভেম্বর থেকে ব্যবহৃত সংস্করণ ২.১ পরীক্ষার দুই ধরনের রকমফের বদলেছে।
সাবকোয়াড্র্যাটিক নিজেদের একটি সম্পর্কিত পরিমাপ জানিয়েছে। ৬০০টি প্রতিষ্ঠানগত কর্মপ্রবাহ-সিদ্ধান্তের একটি প্রকাশ্য সেটে, তারা বলছে, বিকল্পের ক্রম বদলালে স্ন্যাপ ১.১, জেভ ১.১৪ আর ডি১-আলট্রার শীর্ষ উত্তর বদলেছে ১২ থেকে ২১ শতাংশ প্রশ্নে। তারা বলছে, স্ন্যাপ ১.২ অনুমানের সময় একটি স্থাপত্যগত পরিবর্তন ব্যবহার করে, যা বেশ কয়েকটি বেঞ্চমার্কে “ক্রম-পরিবর্তনের সংবেদনশীলতা প্রায় পুরোপুরি দূর করে”। এটি কোম্পানির নিজের মডেল নিয়ে নিজের বিবরণ, নিজের পরীক্ষায় মাপা।
১৯ নভেম্বর ২০২৬-এ মডেলগুলোর অবস্থান
সাবকোয়াড্র্যাটিক ১১ নভেম্বর জানিয়েছে, স্ন্যাপ ১.২ সূচক ভি২.১-এ ৭৩ পেয়েছে, “প্রথম স্থানে ভাগাভাগি করে”। লিকুইড এআই ১৬ নভেম্বর জানিয়েছে, ডি১.২-আলট্রা পেয়েছে ৭৫, আগের সেরা সিদ্ধান্ত মডেলের চেয়ে দুই পয়েন্ট এগিয়ে। আর্টিফিশিয়াল অ্যানালিসিসের সরাসরি ভি২.১ পাতার লিডারবোর্ড তথ্য, ১৯ নভেম্বর পড়া, দুটি প্রতিবেদনের সঙ্গেই সংগতিপূর্ণ। সারণিতে আছে গোল করা সূচক স্কোর, প্রতি দশ লক্ষ কাজের খরচ আর প্রতিটি কাজের মধ্যমান সময়, পাতাটিতে যেভাবে আছে।
| মডেল | নির্মাতা | ডিসিশন ইনডেক্স ভি২.১ | প্রতি দশ লক্ষ কাজের খরচ | প্রতি কাজের সময় |
|---|---|---|---|---|
| Claude Haiku 5.5 (Max), ভাষা মডেল | Anthropic | ৭৬ | প্রায় ৬,২১৮ ডলার | প্রায় ৩২.৩ সেকেন্ড |
| GPT-6 Luna (Max), ভাষা মডেল | OpenAI | ৭৬ | প্রায় ১,৫৪৮ ডলার | প্রায় ১১.৪ সেকেন্ড |
| d1.2-ultra | Liquid AI | ৭৫ | প্রায় ১৩৩ ডলার | ২১৮ মিলিসেকেন্ড |
| Drex Max v1.1 | Nace.AI | ৭৩ | প্রায় ১০৩ ডলার | ২৮৩ মিলিসেকেন্ড |
| SubQ Snap 1.2 | Subquadratic | ৭৩ | প্রায় ১৩৭ ডলার | ১৬২ মিলিসেকেন্ড |
| GLiDE v1.2 | Fastino | ৭৩ | প্রায় ৭৮০ ডলার | ২৮৪ মিলিসেকেন্ড |
| Mammoth 27B | Base Labs | ৭১ | প্রায় ২৬৪ ডলার | ১০৬ মিলিসেকেন্ড |
| Gemini Decision 1 | ৬৬ | প্রায় ৩৪৫ ডলার | ২১১ মিলিসেকেন্ড |
জেমিনি ডিসিশন ১ এই সূচকে ৬৬ পেয়েছে, আর প্রতিটি কাজে তার মধ্যমান সময় প্রায় ২১১ মিলিসেকেন্ড, তালিকায় থাকা অন্য সিদ্ধান্ত মডেলগুলোর পরিসরেই। গুগলের লেখা বলছে, এজেন্ট রাউটিং, যুক্তি, র্যাঙ্কিং ও মাল্টিমোডাল বোঝাপড়া ঢাকা বেঞ্চমার্কগুলোতে মডেলটি “পুরো সুইট জুড়ে এগিয়ে, সবচেয়ে কম ক্যালিব্রেশন ত্রুটিসহ”। লেখাটি কোনো স্কোর দেয়নি, আর সুইটটি গুগলের নিজের, তাই দাবিটিকে আর্টিফিশিয়াল অ্যানালিসিসের সংখ্যার পাশে রাখা যায় না। সূচকের স্কোর সংস্করণের ওপরও নির্ভর করে: ৮ নভেম্বরের ভি২ লেখায় দুটি ভাষা মডেলের জন্য ৭৭ আর ৭৬ এবং GPT-6 Luna (Max)-এর জন্য ১,৫৩০ ডলার ছিল, যা সরাসরি ভি২.১ পাতা থেকে সামান্য আলাদা।
লিকুইড এআই নিজেদের একটি ক্যালিব্রেশনের দাবি যোগ করেছে। যে পাঁচটি মডেলকে তারা তুলনা করেছে সবগুলোর উত্তর দেওয়া ১৩টি বেঞ্চমার্কের ২২,৫০৫টি প্রশ্নজুড়ে তারা ডি১.২-আলট্রার ক্যালিব্রেশন ত্রুটি জানাচ্ছে ০.৮ পয়েন্ট, ডি১.২-এর ১.২, জেভ ১.১৪-এর ২.৭, পারপ্লেক্সিটির ডিসাইডার ভি১.৩-এর ৩.৭ আর তাদের ডিসিশনস এপিআইয়ে GPT-6 Luna-র ৭.২-এর বিপরীতে। এগুলো লিকুইডের পরীক্ষা, নির্মাতার চালানো, আর পাতাটি কোনো স্বতন্ত্র পুনরাবৃত্তির বর্ণনা দেয়নি।
প্রমাণ যা মীমাংসা করে না
সূচকের কিছু সীমা আছে, যা তার নিজের পাতাই বলেছে। এর ছয়টি মূল্যায়নের একটি, EvalSafe-O*NET-AA, তার প্রশ্নগুলোর কোনো মাটির সত্য নেই: পদ্ধতির পাতা বলছে, রেফারেন্স উত্তর হলো দুটি ভাষা মডেলের, GPT-6 Astra ও Claude Fable 5.1-এর, গড়, এবং তারা শুধু সেই প্রশ্নই রাখে যাতে দুটি একমত। ব্যক্তিগত তথ্যসেট সাজিয়ে নেওয়া থেকে রক্ষা করে, আবার তার মানে পাঠকেরা বেশির ভাগ প্রশ্ন দেখতে পারেন না। লিডারবোর্ডে কেন এমন যাচাই দরকার তার বিস্তৃত প্রেক্ষাপটের জন্য দেখুন বেঞ্চমার্কের ভুল ও দূষণ নিয়ে আমাদের পর্যালোচনা।
শিরোনাম সংখ্যায় ভাষা মডেলগুলো এখনও এগিয়ে। এএ-পেপারক্লিপে ভি২ লেখায় Claude Haiku 5.5 (Max) ৯২ শতাংশ নথিতে পাস করেছে, ড্রেক্স ম্যাক্স ভি১.১-এর ৬৩ শতাংশের বিপরীতে, সারণিতে দেওয়া খরচ ও সময়ের ফাঁকসহ। হোয়েন২কল অংশটি পরীক্ষা করে টুল বেছে নেওয়ার সেই ধাপ, যার ওপর এআই এজেন্টরা নির্ভর করে, আর ভি১.০-তে শীর্ষ সিদ্ধান্ত মডেলগুলো তাতে ৮৪ পেয়েছিল, নিম্ন সেটিংয়ে পরীক্ষা করা দুটি ভাষা মডেলের ৭৭ ও ৭৩-এর বিপরীতে।
রাও ও ক্যালিসন-বার্চের গবেষণাপত্র পরীক্ষা করে একটি সিদ্ধান্ত মডেল বিচারক হিসেবে ভাষা মডেলের কতটা জায়গা নিতে পারে। এর অ্যাবস্ট্র্যাক্ট জানাচ্ছে, ভাষা মডেল বিচারকদের খরচ ১৬ থেকে ৩৫৭ গুণ আর সময় লেগেছে ৫ থেকে ৩৫০ গুণ, তবু ২৭টি তুলনার বড়জোর ৬টিতে প্রতিটি সিদ্ধান্ত মডেল তাদের থেকে উল্লেখযোগ্যভাবে পিছিয়ে ছিল। দুই ধরনের বিচারক একইভাবে ভুলও করেছে: একটি সিদ্ধান্ত মডেলের সবচেয়ে আত্মবিশ্বাসী ভুলগুলোর ওপর তিনটি ফ্ল্যাশ-স্তরের ভাষা মডেল বিচারকের রায়ের ৮৫ শতাংশের বেশি সেগুলোর পুনরাবৃত্তি ছিল। অনিশ্চিত রায়গুলো বিকল্প ব্যবস্থা হিসেবে ওই বিচারকদের কাছে পাঠালে সবচেয়ে শক্তিশালী একক বিচারকের চেয়ে সর্বোচ্চ ২.৭ পয়েন্ট বেশি পাওয়া গেছে, অরাকল সীমা ধরেও।
সূত্র ও আরও পড়ার জন্য
- Google: Gemini Decisions API, fast, calibrated multimodal decisions (11 November 2026)
- Artificial Analysis: Introducing the Decision Index v2 (8 November 2026)
- Artificial Analysis: Decision Index v1.0 (13 October 2026)
- Artificial Analysis: Decision Index v2.1 leaderboard and evaluation page
- Artificial Analysis: Decision Index benchmarking methodology and version history
- Subquadratic: SubQ Snap 1.2, order-robust decisions and higher long-context accuracy (11 November 2026)
- Liquid AI: d1.2, state-of-the-art omnimodal decision models (16 November 2026)
- Liquid AI: Introducing d1, the most capable decision model, now with vision (5 October 2026)
- arXiv 1706.04599: Guo, Pleiss, Sun and Weinberger, On Calibration of Modern Neural Networks (ICML 2017)
- arXiv 2207.05221: Kadavath et al., Language Models (Mostly) Know What They Know (2022)
- arXiv 2308.11483: Pezeshkpour and Hruschka, Large Language Models Sensitivity to the Order of Options in Multiple-Choice Questions (22 August 2023)
- arXiv 2305.17926: Wang et al., Large Language Models are not Fair Evaluators (29 May 2023)
- arXiv 2609.29769: Rao and Callison-Burch, Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places (24 September 2026)
এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।
ভালো লাগল? পরেরটিও পড়ুন।
একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।