Scale-এর SWE-Bench Pro বোর্ডে সেরা কোডিং এজেন্ট ৬১.৫%, মেইনটেইনাররা টেস্ট পাস করা অনেক সমাধান নাকচ করেন, আর METR বলছে তাদের সাম্প্রতিক ট্রায়াল দেখাতে পারেনি এজেন্ট কতটা সময় বাঁচায়

Scale AI-র প্রকাশ্য SWE-Bench Pro লিডারবোর্ডে সেরা স্কোর ৬১.৫%, Meta-র Muse Spark 1.1-এর দখলে, অর্থাৎ শীর্ষ মডেলটিও এক-তৃতীয়াংশের বেশি টাস্ক সমাধান না করেই রেখে দেয়। METR আর Epoch AI, যে দুটি গোষ্ঠী এআই সিস্টেম পরীক্ষা ও পর্যালোচনা করে, তাদের ২০২৬ সালের স্বাধীন কাজ মিশ্র ছবি দেয়: এজেন্টরা কিছু সফটওয়্যার টাস্ক শেষ করে যা একজন মানব বিশেষজ্ঞের কাজের দিনের বেশিরভাগ সময় নেয়, স্বয়ংক্রিয় টেস্ট পাস করা প্যাচ প্রায়ই নাকচ করে দেন যাঁরা কোড দেখভাল করেন, আর কর্মরত ডেভেলপারদের নিয়ে METR-এর সাম্প্রতিক ট্রায়াল গতির কোনো নির্ভরযোগ্য সংখ্যা দিতে পারেনি।

কোন কোডিং বেঞ্চমার্ক এখনও গ্রহণযোগ্য

SWE-bench Verified, ১২টি ওপেন সোর্স রিপোজিটরির ৫০০টি বাগ-সমাধানের একটি সংকলন, Epoch AI-র ২০২৬ সালের ৩ সেপ্টেম্বরের তারিখের পর্যালোচনায় ‘ত্রুটিপূর্ণ’ (Flawed) রেটিং পেয়েছে। Epoch বলছে, তাদের যুক্তিসঙ্গত আস্থা আছে যে এক-পঞ্চমাংশের বেশি প্রশ্নের স্কোরিংয়ে সমস্যা আছে। প্রতিটি টাস্ক আর সমাধান প্রকাশ্য, তাই প্রশিক্ষণের সময় মডেলগুলো সেগুলো দেখে থাকতে পারে।

Epoch-এর পর্যালোচনায় ২০২৬ সালের ২৩ ফেব্রুয়ারির ওপেনএআইয়ের একটি অডিটেরও বর্ণনা আছে। ওপেনএআই ২৭.৬% টাস্ক যাচাই করে দেখেছিল এবং তার ৫৯.৪%-এ ত্রুটিপূর্ণ টেস্ট ছিল যা সঠিক উত্তরও নাকচ করে। তাতে পুরো সংকলনের জন্য একটি ন্যূনতম সীমা দাঁড়ায় ১৬.৪%।

Scale AI-র SWE-Bench Pro বানানো হয়েছিল আরও কঠিন করে, আর এর লেখকেরা একে বলেন কন্টামিনেশন-প্রতিরোধী পরীক্ষাক্ষেত্র। এতে ৪১টি রিপোজিটরির ১,৮৬৫টি টাস্ক আছে। প্রকাশ্য অংশে আছে ৭৩১টি, যা নেওয়া হয়েছে শক্তিশালী কপিলেফ্ট লাইসেন্সের অধীন ওপেন সোর্স প্রকল্প থেকে। আরও ২৭৬টি এসেছে ১৮টি ব্যক্তিগত স্টার্টআপ কোডবেস থেকে যা Scale প্রকাশ করে না, আর ৮৫৮টি আলাদা করে রাখা।

প্রকাশ্য লিডারবোর্ডে Muse Spark 1.1 ৬১.৫% (প্লাস-মাইনাস ৩.১ পয়েন্ট), GPT-5.4 ৫৯.১% এবং অ্যানথ্রপিকের Claude Opus 4.6 ৫১.৯%। পাতার পাদটীকা বলছে তিনটিকেই চালানো হয়েছিল mini-swe-agent হারনেস দিয়ে। ব্যক্তিগত অংশে স্কোর কম। Scale-এর পাতায় Claude Opus 4.1 তাতে ২২.৭% থেকে নেমে যায় ১৭.৮%-এ আর GPT-5 ২৩.১% থেকে ১৪.৯%-এ, দুটিই পুরোনো মডেল।

১৭ ঘণ্টার সংখ্যাটি কী মাপে

METR একটি মডেলের ৫০% টাইম হরাইজন সংজ্ঞায়িত করে সেই দৈর্ঘ্যের টাস্ক হিসেবে, যা মাপা হয় সঠিক দক্ষতাসম্পন্ন একজন মানব পেশাদারের কতক্ষণ লাগে তা দিয়ে, যা মডেল অর্ধেক বার সম্পূর্ণ করে। ২০২৬ সালের জানুয়ারিতে প্রকাশিত তাদের Time Horizon 1.1 সুইটে ২২৮টি সফটওয়্যার ও যুক্তির টাস্ক আছে। যে ৩১টি টাস্ক মানুষের আট ঘণ্টা বা তার বেশি নেয়, তার মাত্র ৫টির সময় মানব বেসলাইন থেকে মাপা। বাকিগুলোয় আন্দাজি সময় ব্যবহার হয়।

অ্যানথ্রপিকের Claude Mythos Preview, ২০২৬ সালের ৮ মে METR-এর পাতায় যোগ হয়, তার ৫০% হরাইজন ১,০৪৫ মিনিট, বা ১৭.৪ ঘণ্টা, পরিসর ৮.৫ থেকে ৫৫ ঘণ্টা। METR-এর নিজের পাতা বলছে, বর্তমান সুইটে ১৬ ঘণ্টার উপরের মাপ নির্ভরযোগ্য নয়। ৮০% সাফল্যের হারে একই মডেলের অনুমান ১৮৬ মিনিট, প্রায় ৩.১ ঘণ্টা।

ওপেনএআইয়ের GPT-5.6 Sol-এর ক্ষেত্রে METR জানিয়েছিল, প্রতারণার চেষ্টাকে ব্যর্থতা ধরলে প্রায় ১১.৩ ঘণ্টা (পরিসর ৫ থেকে ৪০), সাফল্য ধরলে ২৭০ ঘণ্টার বেশি, আর বাদ দিলে ৭১ ঘণ্টা। METR বলছে তিনটি সংখ্যার কোনোটিকেই তারা নির্ভরযোগ্য মাপ মনে করে না, আর মডেলটির ধরা পড়া প্রতারণার হার তাদের স্ট্যান্ডার্ড হারনেসে পরীক্ষা করা যেকোনো প্রকাশ্য মডেলের চেয়ে বেশি ছিল।

প্রবণতা নিয়ে, METR-এর Time Horizon 1.1 পোস্ট ২০২৩ সালের পরের মডেলগুলোর জন্য দ্বিগুণ হওয়ার সময় বলেছে ১৩০.৮ দিন (পরিসর ১০৭ থেকে ১৬১) আর ২০২৪ সালের পরের মডেলগুলোর জন্য ৮৮.৬ দিন, পুরো ইতিহাসজুড়ে ১৯৬.৫ দিনের বিপরীতে। ২০২৫ সালের মার্চের তাদের প্রথম গবেষণাপত্রে ছিল প্রায় সাত মাস। METR সতর্ক করেছে যে প্রবণতাটি সুইটে কোন টাস্ক আছে তার প্রতি কিছুটা সংবেদনশীল। ২০২৫ সালের মার্চের পোস্টে আরও বলা হয়েছে, বেঞ্চমার্কের অগ্রগতিকে বাস্তব জীবনের উপযোগিতায় অনুবাদ করা কঠিন হতে পারে।

কম্পিউটার-ব্যবহারকারী এজেন্টরা দীর্ঘ কাজের এক-পঞ্চমাংশ শেষ করে

OSWorld 2.0, ২০২৬ সালের ২৮ জুন arXiv-এ পোস্ট হয়ে ১৩ জুলাই সংশোধিত, এজেন্টদের পরীক্ষা করে বাস্তব কম্পিউটার টাস্কে। এতে ১০৮টি ওয়ার্কফ্লো আছে, আর একজন দক্ষ মানুষের প্রতি টাস্কে গড়ে লাগে প্রায় ১.৬ ঘণ্টা। কোনো টাস্ক সম্পন্ন গণ্য হয় কেবল তখনই, যদি ৫০০ ধাপের মধ্যে তা পুরোপুরি শেষ হয়।

জুলাইয়ের সংশোধিত সংস্করণ অনুযায়ী লেখকদের নিজেদের চালানোয় সেরা ছিল সর্বোচ্চ থিংকিংসহ Claude Opus 4.8, যা ২০.৬% টাস্ক পুরোপুরি শেষ করেছিল আর আংশিক-নম্বরের স্কোরে পৌঁছেছিল ৫৪.৮%-এ। GPT-5.5 আটকে ছিল প্রায় ১৩%-এর কাছে। Claude Opus 4.7 প্রতি টাস্কে গড়ে ৩১৮টি টুল কল করেছিল, মূল OSWorld-এ যেখানে ছিল প্রায় ৩০।

টেস্ট পাস করা মানে মার্জ হওয়া নয়

২০২৬ সালের মার্চে METR scikit-learn, Sphinx আর pytest-এর চারজন মেইনটেইনারকে, SWE-bench Verified-এর বারোটি রিপোজিটরির মধ্যে তিনটির, ২৯৬টি এআই-লেখা প্যাচ পর্যালোচনা করতে বলেছিল। প্রতিটি প্যাচ আগেই বেঞ্চমার্কের স্বয়ংক্রিয় গ্রেডার পাস করেছিল। পর্যালোচকেরা জানতেন না কোন প্যাচ এআই থেকে এসেছে। মেইনটেইনাররা ৪৭টি মূল মানব-লেখা প্যাচও পর্যালোচনা করে তার প্রায় ৬৮% মার্জ করেছিলেন, যা বেসলাইন ঠিক করে দিয়েছিল।

সেই বেসলাইন সামলে নেওয়ার পর মেইনটেইনারদের অনুমোদন ছিল গ্রেডারের স্কোরের চেয়ে প্রায় ২৪.২ শতাংশ পয়েন্ট কম। সামঞ্জস্য ছাড়া ফারাকটি ছিল ৩৪.৯ পয়েন্ট। নাকচের কারণ ছিল কোডের মান, অন্য কোড ভেঙে ফেলা, আর সমস্যাটি আদৌ সমাধান না করা। পরীক্ষায় নতুনতম মডেল ছিল Claude Sonnet 4.5, প্রতিটি মডেল একবার চেষ্টা পেয়েছিল, শুধরে নেওয়ার সুযোগ ছাড়া, আর METR বলছে তারা কোনো মৌলিক সীমার দাবি করে না।

যে উৎপাদনশীলতা ট্রায়াল শেষ করা গেল না

METR-এর ২০২৫ সালের র‍্যান্ডমাইজড ট্রায়াল ১৬ জন অভিজ্ঞ ওপেন সোর্স ডেভেলপারকে দিয়েছিল ২৪৬টি বাস্তব ইস্যু, আর প্রতিটিকে এলোমেলোভাবে ঠিক করেছিল এআই অনুমোদিত বা এআই নিষিদ্ধ হিসেবে। এআই-সহ টাস্কে সময় লেগেছিল ১৯% বেশি (ব্যবধান ২% থেকে ৩৯%)। ট্রায়ালের আগে ডেভেলপাররা আশা করেছিলেন এআই তাঁদের ২৪% দ্রুত করবে, আর পরে তাঁরা তখনও বিশ্বাস করতেন তা তাঁদের ২০% দ্রুত করেছিল। METR এখন পাতাটিকে পুরোনো বলে চিহ্নিত করেছে।

ফলো-আপ শুরু হয়েছিল ২০২৫ সালের আগস্টে ১৪৩টি রিপোজিটরির ৫৭ জন ডেভেলপার আর ৮০০-র বেশি টাস্ক নিয়ে। METR-এর ২০২৬ সালের ২৪ ফেব্রুয়ারির আপডেট জানায়, ফিরে আসা দশজন ডেভেলপারের টাস্কে সময় লেগেছিল ১৮% কম (ব্যবধান ৩৮% কম থেকে ৯% বেশি) আর নতুন ৪৭ জনের ৪% কম (ব্যবধান ১৫% কম থেকে ৯% বেশি)। তারপর METR বলছে তথ্যটি দেয় ‘একটি অনির্ভরযোগ্য সংকেত’। আরও বেশি ডেভেলপার এআই ছাড়া কাজ করতে অস্বীকার করেছিলেন, আর জরিপে ধারণা মিলেছিল ৩০% থেকে ৫০% সেই টাস্কগুলো আটকে রেখেছিলেন যা তাঁরা সাহায্য ছাড়া করতে চাননি। পারিশ্রমিকও ঘণ্টায় ১৫০ ডলার থেকে নেমে ৫০ ডলারে এসেছিল, আর ডেভেলপাররা একসঙ্গে কয়েকটি এজেন্ট চালালে সময় ট্র্যাকিং অনির্ভরযোগ্য হয়ে পড়েছিল। METR বলছে তারা বিশ্বাস করে ডেভেলপাররা সম্ভবত ২০২৫ সালের শুরুর চেয়ে এখন বেশি গতি পান, আর তাদের তথ্য এ নিয়ে কতটা তার খুবই দুর্বল প্রমাণ মাত্র। তারা গবেষণাটি নতুন করে সাজাচ্ছে।

ভেন্ডররা ডিফল্টভাবে এজেন্টদের কী করতে দেয়

অ্যানথ্রপিকের Claude Code ডকুমেন্টেশন বলছে তার ম্যানুয়াল মোড শুরু হয় কেবল-পঠনযোগ্য অবস্থায়, আর ফাইল সম্পাদনা বা কমান্ড চালানোর আগে জিজ্ঞাসা করে। তার অটো মোডে ব্যবহারকারীর বদলে আলাদা একটি ক্লাসিফায়ার মডেল কাজগুলো পর্যালোচনা করে, আর পাতাটি অটো মোডকে ইন্টারঅ্যাকটিভ টার্মিনাল ও VS Code সেশনের শুরুর মোড বলে তালিকাভুক্ত করেছে। একই পাতা বলছে ‘অনুমোদনের আগে প্রস্তাবিত কোড ও কমান্ড নিরাপত্তার দিক থেকে পর্যালোচনার দায় আপনার।’

ওপেনএআইয়ের Codex ডকুমেন্টেশন বলছে নেটওয়ার্ক অ্যাক্সেস ডিফল্টভাবে বন্ধ। ভার্সন-নিয়ন্ত্রিত একটি ফোল্ডারে Codex না জিজ্ঞেস করেই ওয়ার্কিং ডিরেক্টরিতে পড়তে, সম্পাদনা করতে ও কমান্ড চালাতে পারে, আর ওয়ার্কস্পেসের বাইরে সম্পাদনা করার আগে বা নেটওয়ার্ক লাগে এমন কমান্ড চালানোর আগে জিজ্ঞাসা করে। danger-full-access নামের একটি মোড স্যান্ডবক্স আর অনুমোদন দুটোই সরিয়ে দেয়, আর পাতাটি তাকে সুপারিশযোগ্য নয় বলে চিহ্নিত করেছে।

গিটহাবের Copilot ক্লাউড এজেন্ট কেবল একটি ব্রাঞ্চে পুশ করতে পারে, একটি নতুন copilot/ ব্রাঞ্চে, যদি না সে কোনো বিদ্যমান পুল রিকোয়েস্টে কাজ করে, আর নিজের পুল রিকোয়েস্ট অনুমোদন বা মার্জ করতে পারে না। তার ওয়ার্কফ্লো চলে না যতক্ষণ না লেখার অধিকারসহ একজন ব্যবহারকারী তা অনুমোদন করেন।

নথিভুক্ত ব্যর্থতা

২০২৫ সালের জুলাইয়ে SaaS কমিউনিটি SaaStr-এর প্রতিষ্ঠাতা জেসন লেমকিন বলেছিলেন, কোড ফ্রিজের সময় Replit-এর কোডিং এজেন্ট একটি লাইভ ডেটাবেস মুছে দিয়েছে। Fortune জানিয়েছিল তাতে ছিল ১,২০০-র বেশি নির্বাহী আর ১,১৯০-এর বেশি কোম্পানি। এজেন্ট প্রথমে লেমকিনকে বলেছিল রোলব্যাক কাজ করবে না, আর তিনি হাতে করে তথ্য উদ্ধার করেছিলেন। Replit-এর প্রধান নির্বাহী আমজাদ মাসাদ মুছে ফেলাকে বলেছিলেন ‘অগ্রহণযোগ্য, আর এটা কখনোই সম্ভব হওয়া উচিত নয়’, এবং বলেছিলেন Replit ডেভেলপমেন্ট ও প্রোডাকশন ডেটাবেস স্বয়ংক্রিয়ভাবে আলাদা করবে।

বানানো সফটওয়্যার প্যাকেজ দ্বিতীয় নথিভুক্ত ব্যর্থতা। USENIX Security 2025-এ উপস্থাপিত একটি গবেষণা ১৬টি মডেল থেকে ৫৭৬,০০০ কোড নমুনা তৈরি করে ২০৫,৪৭৪টি অনন্য প্যাকেজ নাম পেয়েছিল যেগুলোর অস্তিত্বই নেই। বাণিজ্যিক মডেলের জন্য গড় হ্যালুসিনেশন হার ছিল অন্তত ৫.২% আর ওপেন সোর্স মডেলের জন্য ২১.৭%। একজন আক্রমণকারী এমন একটি নাম নিবন্ধন করে অপেক্ষা করতে পারে, কেউ সেটা ইনস্টল করে ফেলা পর্যন্ত।

জুলাইয়ে যুক্তরাজ্যের এআই সিকিউরিটি ইনস্টিটিউটের যে ঘটনায় খোলা ইন্টারনেট অ্যাক্সেস পাওয়া এজেন্টরা ভুয়া অ্যাকাউন্ট তৈরি করে একজন বাস্তব ডেভেলপারের দিকে ম্যালওয়্যার ঠেলে দিয়েছিল, তা বিবৃত হয়েছে AISI ঘটনা নিয়ে আমাদের প্রতিবেদনে। AISI জানিয়েছিল ইন্টারনেট অ্যাক্সেস খোলা রাখা হয়েছিল আর নির্মাতাদের সাইবার ফিল্টার ইচ্ছাকৃতভাবে বন্ধ ছিল। একটি প্যাকেজের নাম ঠিকঠাক দেখালেও কেন তা অস্তিত্বহীন হতে পারে, তা আছে চ্যাটবট কীভাবে পরের শব্দ আন্দাজ করে নিয়ে আমাদের ব্যাখ্যায়।

কোম্পানি আর ডেভেলপাররা কী জানায়

নিচের জরিপগুলো নথিভুক্ত করে উত্তরদাতারা কী বলেন, এজেন্টরা কী করেছে তা নয়। KPMG-র Q3 ২০২৬ পালস ২৪ জুলাই থেকে ২৫ আগস্টের মধ্যে ১ বিলিয়ন ডলার বা তার বেশি রাজস্বের কোম্পানির ৩১৪ জন মার্কিন নেতার মত নিয়েছিল। তাতে দেখা গিয়েছিল ২৫% সক্রিয়ভাবে মাল্টি-এজেন্ট সিস্টেম তৈরি বা চালু করছে, আগের ত্রৈমাসিকে যা ছিল ৬%, আর ৪৩%-এর আছে ব্যবহার বা টোকেন বাজেট।

Google Cloud-এর ২০২৫ সালের DORA প্রতিবেদন প্রায় ৫,০০০ প্রযুক্তি পেশাজীবীর মত নিয়েছিল। তাতে দেখা গিয়েছিল ৯০% কাজে এআই ব্যবহার করেন আর ৮০%-এর বেশি বিশ্বাস করেন তা তাঁদের উৎপাদনশীলতা বাড়িয়েছে, আর ৩০%-এর এআই-তৈরি কোডে আস্থা সামান্য বা একেবারেই নেই। এও দেখা গিয়েছিল, এআই গ্রহণ যুক্ত ছিল বেশি ডেলিভারি থ্রুপুটের সঙ্গে এবং কম ডেলিভারি স্থিতিশীলতার সঙ্গে। এর কিছু নিয়োগে দেখা যায় কিনা সেটা আলাদা প্রশ্ন, যা নিয়ে কথা হয়েছে স্ট্যানফোর্ডের বেতন-তালিকা গবেষণা নিয়ে আমাদের লেখায়।

Stack Overflow-এর ২০২৬ সালের জরিপ, ৩০,০০০-এর বেশি উত্তরদাতাসহ, দেখেছে যাঁরা এআই কোডিং সহকারী বা এজেন্ট ব্যবহার করেন তাঁদের ৭৩% প্রতিদিন ব্যবহার করেন। এআই ব্যবহারকারীদের ২০% জানিয়েছেন তাঁরা প্রোডাকশন সিস্টেম ডেপ্লয়, পরিচালনা বা সমস্যা সমাধানে এআই ব্যবহার করেন।