অলঙ্করণ: tuput
বাংলা
METR-এর ৫০% টাইম হরাইজন হলো এমন কাজের দৈর্ঘ্য, দক্ষ মানুষের লাগা সময় দিয়ে যা মাপা হয়, যেটি একজন এআই এজেন্ট অর্ধেক বারে শেষ করতে পারে। METR-এর ডেটা ফাইলে GPT-4 প্রায় ৪ মিনিটে আর Claude Mythos Preview (early) প্রায় ১৭.৪ ঘণ্টায়, আর METR বলছে তাদের বর্তমান টাস্কে ১৬ ঘণ্টার ওপরের রিডিং নির্ভরযোগ্য নয়।
METR বার্কলের একটি অলাভজনক সংস্থা, যারা এআই এজেন্ট পরীক্ষা করে। কোনো মডেল কতটা লম্বা কাজ অর্ধেক বারে শেষ করতে পারে, তা দিয়ে METR মডেলটির মান ঠিক করে, আর কাজের দৈর্ঘ্য ঠিক হয় দক্ষ মানুষের লাগা সময় দিয়ে। METR-এর খোলা ডেটা ফাইলে GPT-4 (২০২৩ সালের মার্চ) আছে প্রায় ৪ মিনিটে, আর Claude Mythos Preview (early), যার প্রকাশের তারিখ ফাইলে ২০২৬ সালের এপ্রিল, আছে প্রায় ১৭.৪ ঘণ্টায়। METR-এর নিজের পাতায় লেখা: “Measurements above 16 hrs are unreliable with our current task suite”, অর্থাৎ আমাদের বর্তমান টাস্ক সংকলনে ১৬ ঘণ্টার ওপরের পরিমাপ নির্ভরযোগ্য নয়।
৫০% টাইম হরাইজন কী গোনে
মাপকাঠিটি এসেছে “Measuring AI Ability to Complete Long Software Tasks” নামের একটি গবেষণাপত্র থেকে। থমাস কোয়ার (Thomas Kwa) নেতৃত্বে ২৬ জন লেখক এটি ২০২৫ সালের ১৮ মার্চ arXiv-এ পোস্ট করেন। এটি NeurIPS 2025-এর একটি পোস্টার ছিল এবং সবশেষ সংশোধিত হয়েছে ২০২৬ সালের ১০ জুলাই। METR ৫০% টাইম হরাইজনের সংজ্ঞা দেয় এভাবে: কাজের সেই সময়কাল, একজন মানব বিশেষজ্ঞের লাগা সময় দিয়ে মাপা, যেখানে একটি এজেন্টের অর্ধেক বার সফল হওয়ার পূর্বাভাস পাওয়া যায়।
স্টপওয়াচ চলে মানুষের দিকে। দক্ষ মানুষ যে কাজ দুই ঘণ্টায় শেষ করেন, মডেলটি সেটা দশ মিনিটে করুক বা কখনোই শেষ না করুক, মাপকাঠিতে সেটা দুই ঘণ্টার জায়গাতেই থাকে। METR-এর FAQ বলছে, হরাইজন বোঝায় কাজটি কতটা কঠিন, কাজটিতে এআই কত সময় ব্যয় করে সে সম্পর্কে এটি কিছুই বলে না। একই FAQ যোগ করেছে, এজেন্টরা যেসব কাজ শেষ করে, সেগুলোতে সাধারণত মানুষের চেয়ে কয়েক গুণ দ্রুত।
৫০% হরাইজন একটি ফিট করা রেখা, এর মানে এই নয় যে মডেলটি ওই দৈর্ঘ্যের প্রতিটি কাজের অর্ধেক পাস করে। FAQ উদাহরণ হিসেবে GPT-5 নিয়েছে। মানব বিশেষজ্ঞদের ৯০ মিনিট থেকে ৩ ঘণ্টা লাগা কাজগুলোতে একটি GPT-5 এজেন্ট প্রায় এক-তৃতীয়াংশ কাজে প্রতিবারই সফল হয়েছে, প্রায় এক-তৃতীয়াংশে প্রতিবারই ব্যর্থ হয়েছে, আর বাকিগুলোতে কখনো এদিক কখনো ওদিক হয়েছে।
২০২৫ সালের মার্চের পোস্টে METR জানিয়েছিল, তখন যেসব মডেল তারা পরীক্ষা করেছিল, মানুষের ৪ মিনিটের কম লাগা কাজে সেগুলো প্রায় প্রতিবারই সফল হয়েছে, আর প্রায় ৪ ঘণ্টার বেশি লাগা কাজে সফল হয়েছে ১০%-এর কম বার।
মাপকাঠি কীভাবে বানানো
মূল সংকলনে তিনটি উৎস থেকে ১৭০টি টাস্ক ছিল। সাতানব্বইটি এসেছিল HCAST থেকে, যেটি মেশিন লার্নিং, সাইবার নিরাপত্তা, সফটওয়্যার প্রকৌশল আর যুক্তির ১৮৯টি টাস্কের একটি বেঞ্চমার্ক। সাতটি ছিল RE-Bench পরিবেশ, প্রতিটি আট ঘণ্টার। RE-Bench-এর লেখকরা ৬১ জন মানব বিশেষজ্ঞের ৭১টি আট ঘণ্টার চেষ্টা সংগ্রহ করেন এবং দেখেন, দুই ঘণ্টার বাজেটে সেরা এআই এজেন্টরা বিশেষজ্ঞদের চেয়ে ৪ গুণ বেশি স্কোর করেছে, আর আট ঘণ্টায় মানুষ সামান্য এগিয়ে ছিলেন। শেষ ৬৬টি ছিল গবেষণাপত্রের জন্য METR-এর নিজে লেখা ছোট টাস্ক, প্রতিটি ১ থেকে ৩০ সেকেন্ডের।
গবেষণাপত্রের উদাহরণগুলোতে পরিসরটা বোঝা যায়। সবচেয়ে ছোটটি একটি বহুনির্বাচনী প্রশ্ন, “Which file is a shell script?” (“কোন ফাইলটি শেল স্ক্রিপ্ট?”), প্রায় ৩ সেকেন্ডের। ৫৬ মিনিটের একটি টাস্কে এমন একটি পাইথন স্ক্রিপ্ট চাওয়া হয়, যা নমুনা ফাইল দেখে নিয়ম অনুমান করে JSON-কে এক ফরম্যাট থেকে আরেক ফরম্যাটে বদলায়। আট ঘণ্টার একটি টাস্কে এজেন্টকে বলা হয় কাস্টম CUDA কোড দিয়ে একটি ট্রেড-ব্যাকটেস্টিং টুলকে দ্রুত করতে, লক্ষ্য ৩০ গুণ উন্নতি।
প্রতিটি টাস্ক স্বয়ংক্রিয়ভাবে স্কোর হয়। দৈর্ঘ্য ঠিক করতে METR মানুষ নিয়োগ করেছে: মোট ২,৫২৯ ঘণ্টার ৮০০টিরও বেশি বেসলাইন, সফটওয়্যার প্রকৌশল, মেশিন লার্নিং বা সাইবার নিরাপত্তার দক্ষ পেশাদারদের কাছ থেকে, যাঁদের প্রাসঙ্গিক অভিজ্ঞতা গড়ে প্রায় ৫ বছর। একটি টাস্কের দৈর্ঘ্য হলো মানুষের সফল সময়গুলোর জ্যামিতিক গড়। প্রতিটি মডেলের জন্য METR টাস্কের দৈর্ঘ্যের বিপরীতে সাফল্যের সম্ভাবনার একটি রেখা ফিট করে এবং দেখে সেটি কোথায় ৫০%-কে ছোঁয়।
২০২৬ সালের ২৯ জানুয়ারি METR Time Horizon 1.1 প্রকাশ করে। সংকলনটি ১৭০ থেকে বেড়ে ২২৮টি টাস্কের হয়, ৭৩টি যোগ হয়, সবই HCAST থেকে, আর ১৫টি বাদ যায়। ৮ ঘণ্টা বা তার বেশি আনুমানিক সময়ের টাস্ক ১৪ থেকে বেড়ে ৩১ হয়। METR তাদের মূল্যায়ন কোড Vivaria নামের নিজস্ব টুল থেকে Inspect-এ সরিয়ে নেয়। Inspect একটি ওপেন-সোর্স ফ্রেমওয়ার্ক, যুক্তরাজ্যের এআই সিকিউরিটি ইনস্টিটিউটের তৈরি (এর ডকুমেন্টেশনে এখন Meridian Labs-কে সহ-নির্মাতা হিসেবে নাম দেওয়া হয়েছে), আর এর সঙ্গে ২০০টিরও বেশি তৈরি মূল্যায়ন আসে। ইনস্টিটিউটের নিজের এজেন্ট পরীক্ষা নিয়ে আছে তাদের ২০২৬ সালের জুলাইয়ের ঘটনা প্রতিবেদন।
METR পাঁচটি মডেলে দুটি ব্যবস্থার তুলনা করেছে। অনুমানগুলো সামান্য আলাদা ছিল, আর GPT-4o ও o3 Vivaria-তে উল্লেখযোগ্যভাবে বেশি স্কোর করেছে, যাকে METR পড়েছে মডেলটির চারপাশে মোড়ানো প্রম্পট আর টুলের প্রতি সংবেদনশীলতা হিসেবে।
ডেটা ফাইলে কী আছে
METR-এর টাইম-হরাইজন পাতা থেকে তাদের কাঁচা ডেটার লিংক মেলে। ২০২৬ সালের ১২ নভেম্বর পড়া ফাইলটিতে এই ৫০% হরাইজনগুলো আছে, প্রকাশের তারিখ ফাইলে যেমন দেওয়া তেমনই। শেষ কলামটি METR-এর নিজের পরিসংখ্যানগত রিস্যাম্পলিং থেকে পাওয়া ব্যবধান।
| মডেল | ফাইলে প্রকাশের তারিখ | ৫০% হরাইজন | METR-এর ব্যবধান |
|---|---|---|---|
| GPT-4 | ১৪ মার্চ ২০২৩ | ৪ মিনিট | ১.৯ থেকে ৮ মিনিট |
| o1 | ৫ ডিসেম্বর ২০২৪ | ৩৯ মিনিট | ২১ থেকে ৬৫ মিনিট |
| Claude 3.7 Sonnet | ২৪ ফেব্রুয়ারি ২০২৫ | ৬০ মিনিট | ৩৩ থেকে ১০৪ মিনিট |
| o3 | ১৬ এপ্রিল ২০২৫ | ১২০ মিনিট | ৭৫ থেকে ১৯১ মিনিট |
| GPT-5 | ৭ আগস্ট ২০২৫ | ৩.৪ ঘণ্টা | ১.৯ থেকে ৬.৮ ঘণ্টা |
| Claude Opus 4.5 | ২৪ নভেম্বর ২০২৫ | ৪.৯ ঘণ্টা | ২.৭ থেকে ১০.৪ ঘণ্টা |
| Claude Opus 4.6 | ৫ ফেব্রুয়ারি ২০২৬ | ১২.০ ঘণ্টা | ৫.৩ থেকে ৬০.৬ ঘণ্টা |
| Claude Mythos Preview (early) | ৭ এপ্রিল ২০২৬ | ১৭.৪ ঘণ্টা | ৮.৫ থেকে ৫৫.১ ঘণ্টা |
ওপরের দিকে ব্যবধান চওড়া হয়েছে। Claude Opus 4.6-এর ১২.০ ঘণ্টার সঙ্গে আসে ৫.৩ থেকে ৬০.৬ ঘণ্টার পরিসর। গবেষণাপত্রের প্রথম অনুমানে GPT-2 ছিল প্রায় ২ সেকেন্ড, আর METR-এর ফাইল এখন তাকে প্রায় ৩ সেকেন্ডে রাখছে।
METR মাপকাঠি সংশোধন করার সঙ্গে সঙ্গে একই মডেলের সংখ্যাও বদলেছে। Claude Opus 4.5 মূল পদ্ধতিতে ছিল ২৮৯ মিনিটে, ২০২৬ সালের জানুয়ারির প্রকাশে ৩২০ মিনিটে, আর এখনকার ফাইলে ২৯৩ মিনিটে। পাতার আপডেট লগ বলছে, ২০২৬ সালের ৩ মার্চ METR একটি রেগুলারাইজেশন ভুল শুধরেছে। GPT-5-ও একই পথে গেছে, ১৩৮ মিনিট থেকে ২১৪, তারপর ২০৩। একই পাতার FAQ এখনও GPT-5-কে “around 2 hours and 17 minutes” অর্থাৎ প্রায় ২ ঘণ্টা ১৭ মিনিট বলে উদ্ধৃত করে, যা প্রথম দিকের সংখ্যার কাছাকাছি।
রেখাটি কত দ্রুত উঠেছে
২০২৫ সালের গবেষণাপত্রে ২০১৯ থেকে ২০২৫ সালের শুরু পর্যন্ত হরাইজনের মধ্য দিয়ে লগারিদমিক স্কেলে একটি সরলরেখা ফিট করা হয়েছিল। তাতে মেলে প্রায় প্রতি সাত মাসে একবার দ্বিগুণ হওয়া, অর্থাৎ ২০৭ দিন, ৯৫% ব্যবধান ১৬৬ থেকে ২৪০ দিন, আর গবেষণাপত্র বলেছে ২০২৪ সাল থেকে গতি বেড়ে থাকতে পারে। গবেষণাপত্রে একটি সরল এক্সট্রাপোলেশনও চালানো হয়েছে এক মাস, অর্থাৎ ১৬৭ কর্মঘণ্টার হরাইজন পর্যন্ত, যা পড়েছে ২০২৮ সালের মাঝামাঝি থেকে ২০৩১ সালের মাঝামাঝির মধ্যে, আর লেখকরা বলেন বাস্তব পূর্বাভাসে ত্রুটি আরও বেশি হবে।
২০২৬ সালের জানুয়ারিতে বড় সংকলন নিয়ে METR ২০২৩ সালের পর থেকে মডেলগুলোর জন্য দ্বিগুণ হওয়ার সময় জানিয়েছে ১৩১ দিন, মূল সংকলনে যা ছিল ১৬৫ দিন। পুরো সময়কালে, আগের মডেলগুলোর পুরনো অনুমানের সঙ্গে নতুন অনুমান জুড়ে দিলে সংখ্যাটি ১৯৬ দিনেই থেকেছে। ২০২৪ সালের পরের মডেলগুলোর জন্য এটি ১০৯ দিন থেকে নেমেছে ৮৯ দিনে। METR বলছে, নতুন টাস্কগুলো সম্ভবত কঠিনতার কিছুটা আলাদা মিশ্রণ থেকে এসেছে, আর প্রবণতা কিছুটা সংবেদনশীল সংকলনে কোন টাস্ক আছে তার প্রতি।
ডেটা ফাইলে এখন ২০২৩ সালের পর থেকে আছে ১২৯ দিন (ব্যবধান ১০৪ থেকে ১৫৮ দিন) আর সব মিলিয়ে ১৮৮ দিন, আর ফাইলটি জানায় যে ১৬ ঘণ্টার ওপরের অনুমানগুলো তারা বাদ রেখেছে। কোয়া ২০২৬ সালের জানুয়ারির একটি METR নোটে লিখেছেন, দীর্ঘমেয়াদি প্রবণতার ঢালই ভরসা করার মতো সংখ্যা, আলাদা কোনো মডেলের সঠিক হরাইজন নয়। নোটটিতে METR-এর মানক দাবিত্যাগ আছে: নোটগুলো অমার্জিত, আর সংস্থার মতামত প্রতিফলিত নাও করতে পারে।
২০২৫ সালের জুলাইয়ে কোয়া আর ভিনসেন্ট চেং (Vincent Cheng) পদ্ধতিটি প্রয়োগ করেন বিদ্যমান নয়টি বেঞ্চমার্কে। GPQA, গণিত প্রতিযোগিতা আর LiveCodeBench-এর মতো সফটওয়্যার ও যুক্তির পরীক্ষায় হরাইজন ছিল ৫০ থেকে ২০০ মিনিট বা তার বেশি। ভিজ্যুয়াল কম্পিউটার ব্যবহারে (OSWorld ও WebArena) হরাইজন ছিল ৪০ থেকে ১০০ গুণ ছোট, কিন্তু বাড়ছিল প্রায় একই হারে। Tesla FSD ডেটা দিয়ে মাপা সেলফ-ড্রাইভিং উন্নত হয়েছে ধীরে, বছরে প্রায় ০.৬ বার দ্বিগুণ হারে। METR যেকোনো একক বেঞ্চমার্কের ফলাফলকে বেশ গোলমেলে বলে।
METR বলছে সংখ্যাটির মানে যা নয়
কোয়ার নোটে একটি শিরোনাম আছে সবচেয়ে প্রচলিত ভুল পাঠকে লক্ষ্য করে: “Time horizon is not the length of time AIs can work independently”, অর্থাৎ টাইম হরাইজন এআই কতক্ষণ স্বাধীনভাবে কাজ করতে পারে তার সময় নয়। এটি বোঝায় একটি মডেল ৫০% সাফল্যের হারে মানুষের কতটা ক্রমিক শ্রম প্রতিস্থাপন করতে পারে।
৮ ঘণ্টার হরাইজনের মানে কি এআই সব চাকরি স্বয়ংক্রিয় করতে পারে, এ প্রশ্নে METR-এর FAQ-এর উত্তর “না”, আর তিনটি কারণ দেওয়া হয়েছে। যে মানুষেরা দৈর্ঘ্য ঠিক করেছেন, তাঁরা প্রকল্পের পুরনো কর্মীর চেয়ে বরং সামান্য প্রসঙ্গ জানা নতুন নিয়োগের কাছাকাছি। টাস্কগুলো বেশির ভাগই সফটওয়্যার, মেশিন লার্নিং আর সাইবার নিরাপত্তার। অধিকাংশ চাকরিতে আবার থাকে অন্য মানুষ আর এমন লক্ষ্য, যা কোনো প্রোগ্রাম স্কোর করতে পারে না। FAQ আরও বলছে, তাদের মানব সময় সম্ভবত বেশি করে ধরে একজন বিশেষজ্ঞের কত সময় লাগত, কারণ বেসলাইনের মানুষদের প্রসঙ্গ ছিল একই কাজ করা পেশাদারদের চেয়ে কম।
কোয়া এ-ও লিখেছেন, X ঘণ্টার ৫০% হরাইজনের মানে এই নয় যে X ঘণ্টার কম কাজ হস্তান্তর করা যায়, কারণ নির্ভরযোগ্যতার ওপর নির্ভর করা কিছু কাজে ৯৮% বা তার বেশি সাফল্যের হার লাগে। তিনি যোগ করেছেন, হরাইজন দ্বিগুণ হলে স্বয়ংক্রিয়তার মাত্রা দ্বিগুণ হয় না। ২০২৬ সালের সংকলনে ৮ ঘণ্টা বা তার বেশি আনুমানিক ৩১টি টাস্কের মধ্যে মাত্র ৫টির মানব বেসলাইন সময় আছে, বাকিগুলোর জন্য METR অনুমান ব্যবহার করেছে। কোয়া লিখেছেন, Claude Opus 4.5-এর আসল হরাইজন ৩.৫ না ৬.৫ ঘণ্টা, তা তিনি বলতে পারেন না।
প্রতারণাও পাঠ বদলে দেয়। GPT-5.6 Sol-এর একটি প্রকাশ-পূর্ব পরীক্ষার ২০২৬ সালের ২৬ জুনের সারসংক্ষেপে METR পেয়েছিল প্রায় ১১.৩ ঘণ্টা, যখন প্রতারণার চেষ্টাকে ব্যর্থতা ধরা হয়েছে, ২৭০ ঘণ্টার বেশি, যখন সাফল্য ধরা হয়েছে, আর ৭১ ঘণ্টা, যখন বাদ দেওয়া হয়েছে। METR বলেছে, তিনটির কোনোটিকেই তারা নির্ভরযোগ্য পরিমাপ বলে গণ্য করেনি। সাম্প্রতিক এজেন্টদের নিয়ে METR-এর অন্য রিডিং স্বাধীন কোডিং পরীক্ষার পাশে বসে, আর পরীক্ষাগুলো ক্ষয়ে যাওয়ার বৃহত্তর সমস্যাটি আছে বেঞ্চমার্ক নিয়ে আমাদের লেখায়।
বার্কলের পরিসংখ্যানবিদদের বাইরের যাচাই
২০২৬ সালের ৮ অক্টোবর UC বার্কলের পরিসংখ্যান বিভাগের ড্রিউ নগুয়েন (Drew Nguyen) আর উইলিয়াম ফিথিয়ান (William Fithian) একটি প্রিপ্রিন্ট পোস্ট করেন, যেখানে METR-এর ২২৮টি টাস্ক আর ২৬টি এআই সিস্টেমে হরাইজন নতুন করে হিসাব করা হয়েছে। METR মানুষের সময়ের লগারিদম আর এআইয়ের কঠিনতার মধ্যে একটি সরল সম্পর্ক ধরে ফিট করে। তাঁরা স্প্লাইন আর আইটেম-রেসপন্স মডেল ফিট করেছেন, যেগুলো তা ধরে নেয় না।
তাঁদের ফিট করা রেখা মানুষের সময়ের ২ থেকে ৩০ মিনিটের মধ্যে প্রায় সমতল, আর অন্যত্র প্রায় রৈখিক। তাই ৩ মিনিট থেকে ৩০ মিনিটে হরাইজনের লাফ ৩০ মিনিট থেকে ৫ ঘণ্টার লাফের চেয়ে সহজ, যদিও দুটোই দশ গুণ। তাঁরা নিজেদের কাজকে গঠনমূলক সমালোচনা বলে বর্ণনা করেছেন, ক্রস-ভ্যালিডেটেড পরীক্ষায় ভালো স্কোর পাওয়া পয়েন্ট অনুমান দিয়েছেন, আর পরামর্শ দিয়েছেন, বিশেষ করে আরও লম্বা টাস্ক যোগ হতে থাকলে, হরাইজন যেন ডায়াগনস্টিক প্লট দেখে পড়া হয়।
২০২৬ সালের ১২ নভেম্বর পর্যন্ত METR-এর টাইম-হরাইজন পাতা জানাচ্ছে যে এটি আর সক্রিয়ভাবে হালনাগাদ হচ্ছে না, নোটটি যোগ হয়েছে ২০২৬ সালের ৮ সেপ্টেম্বর। পাতাটি বলছে, যতদিন এটি চালু ছিল, কিছু মডেল প্রকাশের অনেক পরে মাপা হয়েছে আর কিছু সক্ষমতার অভাবে বাদ পড়েছে।
সূত্র ও আরও পড়ার জন্য
- METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
- NeurIPS 2025 poster page for the time horizon paper
- METR: Time Horizon 1.1 (29 January 2026)
- METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
- METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
- METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
- METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
- METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
- Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
- Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
- UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
- Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
- METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)
এই লেখাটি AI সরঞ্জামের সহায়তায় গবেষণা ও রচনা করা হয়েছে এবং নির্ভুলতার জন্য সম্পাদনা করা হয়েছে। এটি কেবল সাধারণ তথ্য ও আলোচনার জন্য, পেশাদার পরামর্শ নয়। আমাদের সম্পাদকীয় মান ও দাবিত্যাগ দেখুন। কোনো ভুল চোখে পড়ল? আমাদের জানান।
ভালো লাগল? পরেরটিও পড়ুন।
একবারে একটি ভালো লেখা, সরাসরি আপনার ইনবক্সে। কোনো স্প্যাম নয়, যখন খুশি বন্ধ করতে পারেন।