चित्रण: tuput
हिन्दी
METR का 50% टाइम होराइज़न उस काम की लंबाई है, जो कुशल लोगों के लगने वाले समय से तय होती है, और जिसे AI एजेंट आधी बार पूरा कर लेता है। METR की डेटा फ़ाइल GPT-4 को लगभग 4 मिनट और Claude Mythos Preview (early) को लगभग 17.4 घंटे पर गिनाती है, और METR कहता है कि उसके मौजूदा कामों पर 16 घंटे से ऊपर की रीडिंग भरोसेमंद नहीं है।
बर्कले की गैर-लाभकारी संस्था METR, जो AI एजेंटों को परखती है, किसी मॉडल को उस काम की लंबाई से आँकती है जिसे वह आधी बार पूरा कर लेता है, और लंबाई इससे तय होती है कि कुशल लोगों को उसमें कितना समय लगता है। METR की खुली डेटा फ़ाइल GPT-4 (मार्च 2023) को लगभग 4 मिनट पर और Claude Mythos Preview (early) को, जिसकी रिलीज़ तारीख़ अप्रैल 2026 दर्ज है, लगभग 17.4 घंटे पर गिनाती है। METR का अपना पन्ना कहता है, “16 घंटे से ऊपर की माप हमारे मौजूदा टास्क सूट के साथ भरोसेमंद नहीं है।”
50% टाइम होराइज़न क्या गिनता है
यह माप “Measuring AI Ability to Complete Long Software Tasks” शीर्षक के एक शोध-पत्र से आती है, जिसे थॉमस क्वा के नेतृत्व में 26 लेखकों ने 18 मार्च 2025 को arXiv पर डाला। वह NeurIPS 2025 का पोस्टर था और 10 जुलाई 2026 को उसमें आख़िरी संशोधन हुआ। METR 50% टाइम होराइज़न को उस काम की अवधि के रूप में परिभाषित करता है, जिसे मानव विशेषज्ञ को लगे समय से नापा जाता है, और जिस पर एजेंट के आधी बार सफल होने का अनुमान है।
स्टॉपवॉच इंसानों की तरफ़ चलती है। जो काम कुशल लोग दो घंटे में पूरा करते हैं, वह पैमाने पर दो घंटे पर बैठता है, चाहे मॉडल को दस मिनट लगें या वह उसे कभी पूरा न कर पाए। METR का FAQ कहता है कि होराइज़न बताता है कि कोई काम कितना कठिन है, और AI उस पर कितना समय लगाता है, इस बारे में कुछ नहीं कहता। वही FAQ जोड़ता है कि जिन कामों को एजेंट पूरा करते हैं उन पर वे आम तौर पर इंसानों से कई गुना तेज़ होते हैं।
50% होराइज़न एक फ़िट किया हुआ वक्र है, और इसका मतलब यह नहीं कि मॉडल उस लंबाई के हर काम का आधा पास कर लेता है। FAQ उदाहरण के लिए GPT-5 लेता है। जिन कामों में मानव विशेषज्ञों को 90 मिनट से 3 घंटे लगे, उनमें से लगभग एक-तिहाई में GPT-5 एजेंट हर बार सफल रहा, लगभग एक-तिहाई में हर बार विफल रहा, और बाक़ी में दोनों तरह हुआ।
मार्च 2025 की अपनी पोस्ट में METR ने बताया कि तब जिन मॉडलों को उसने परखा वे उन कामों में लगभग हर बार सफल रहे जिनमें लोगों को 4 मिनट से कम लगे, और उन कामों में 10% से भी कम बार जिनमें लोगों को लगभग 4 घंटे से ज़्यादा लगे।
यह पैमाना कैसे बना है
मूल सूट में तीन स्रोतों से 170 काम थे। सत्तानवे HCAST से आए, जो मशीन लर्निंग, साइबर सुरक्षा, सॉफ़्टवेयर इंजीनियरिंग और तर्क के 189 कामों का बेंचमार्क है। सात RE-Bench के माहौल थे, जिनमें से हर एक आठ घंटे का। RE-Bench के लेखकों ने 61 मानव विशेषज्ञों के 71 आठ-घंटे के प्रयास जुटाए और पाया कि सबसे अच्छे AI एजेंटों ने दो घंटे के बजट पर विशेषज्ञों से 4 गुना ऊँचा स्कोर किया, जबकि आठ घंटे पर इंसान थोड़े आगे रहे। आख़िरी 66 छोटे काम थे जो METR ने इस शोध-पत्र के लिए लिखे, हर एक 1 से 30 सेकंड का।
शोध-पत्र के उदाहरण दायरा दिखाते हैं। सबसे छोटा एक बहुविकल्पीय सवाल है, “कौन-सी फ़ाइल शेल स्क्रिप्ट है?”, लगभग 3 सेकंड का। 56 मिनट का एक काम पायथन स्क्रिप्ट माँगता है जो नमूना फ़ाइलों से नियम भाँपकर JSON को एक प्रारूप से दूसरे में बदले। आठ घंटे का एक काम एजेंट से कहता है कि कस्टम CUDA कोड से एक ट्रेड-बैकटेस्टिंग टूल को तेज़ करे, लक्ष्य 30 गुना के लाभ का।
हर काम का स्कोर अपने आप निकलता है। लंबाई के लिए METR ने लोगों को रखा: कुल 2,529 घंटे की 800 से ज़्यादा आधार-रेखाएँ, सॉफ़्टवेयर इंजीनियरिंग, मशीन लर्निंग या साइबर सुरक्षा के कुशल पेशेवरों से, जिनका प्रासंगिक अनुभव औसतन लगभग 5 साल था। किसी काम की लंबाई सफल मानवीय समयों का ज्यामितीय माध्य है। हर मॉडल के लिए METR काम की लंबाई के सामने सफलता की संभावना का एक वक्र फ़िट करता है और पढ़ता है कि वह 50% को कहाँ पार करता है।
29 जनवरी 2026 को METR ने टाइम होराइज़न 1.1 जारी किया। सूट 170 से बढ़कर 228 काम का हो गया, जिसमें 73 जोड़े गए, सब HCAST से, और 15 हटाए गए। 8 घंटे या उससे ज़्यादा आँके गए काम 14 से 31 हो गए। METR ने अपना मूल्यांकन कोड Vivaria नाम के आंतरिक टूल से Inspect पर भी ले जाया, जो ब्रिटेन के AI सुरक्षा संस्थान का विकसित ओपन-सोर्स फ़्रेमवर्क है (उसके दस्तावेज़ अब मेरिडियन लैब्स को सह-विकासकर्ता बताते हैं) और जिसके साथ 200 से ज़्यादा तैयार मूल्यांकन आते हैं। संस्थान का अपना एजेंट परीक्षण उसकी जुलाई 2026 की घटना रिपोर्ट का विषय है।
METR ने दोनों प्रणालियों की तुलना पाँच मॉडलों पर की। अनुमान थोड़े अलग निकले, और GPT-4o तथा o3 ने Vivaria में काफ़ी ऊँचा स्कोर किया, जिसे METR ने मॉडल के आसपास लिपटे प्रॉम्प्ट और टूल के प्रति संवेदनशीलता के रूप में पढ़ा।
डेटा फ़ाइल क्या गिनाती है
METR का टाइम-होराइज़न पन्ना अपना कच्चा डेटा जोड़ता है। 12 नवंबर 2026 को पढ़ी गई फ़ाइल ये 50% होराइज़न गिनाती है, रिलीज़ तारीख़ें वैसी जैसी फ़ाइल देती है। आख़िरी स्तंभ METR का अपना अंतराल है, जो उसके सांख्यिकीय पुनर्नमूनाकरण से निकला है।
| मॉडल | दर्ज रिलीज़ तारीख़ | 50% होराइज़न | METR का अंतराल |
|---|---|---|---|
| GPT-4 | 14 मार्च 2023 | 4 मिनट | 1.9 से 8 मिनट |
| o1 | 5 दिसंबर 2024 | 39 मिनट | 21 से 65 मिनट |
| Claude 3.7 Sonnet | 24 फ़रवरी 2025 | 60 मिनट | 33 से 104 मिनट |
| o3 | 16 अप्रैल 2025 | 120 मिनट | 75 से 191 मिनट |
| GPT-5 | 7 अगस्त 2025 | 3.4 घंटे | 1.9 से 6.8 घंटे |
| Claude Opus 4.5 | 24 नवंबर 2025 | 4.9 घंटे | 2.7 से 10.4 घंटे |
| Claude Opus 4.6 | 5 फ़रवरी 2026 | 12.0 घंटे | 5.3 से 60.6 घंटे |
| Claude Mythos Preview (early) | 7 अप्रैल 2026 | 17.4 घंटे | 8.5 से 55.1 घंटे |
ऊपर की ओर अंतराल चौड़े होते जाते हैं। Claude Opus 4.6 के 12.0 घंटे के साथ 5.3 से 60.6 घंटे का दायरा आता है। शोध-पत्र का GPT-2 के लिए पहला अनुमान लगभग 2 सेकंड था, और METR की फ़ाइल अब लगभग 3 गिनाती है।
जैसे-जैसे METR ने अपना सूट संशोधित किया, एक ही मॉडल का आँकड़ा भी खिसका है। Claude Opus 4.5 मूल पद्धति में 289 मिनट पर, जनवरी 2026 की रिलीज़ में 320 मिनट पर और अब की फ़ाइल में 293 मिनट पर दर्ज था। पन्ने का अपडेट लॉग दर्ज करता है कि METR ने 3 मार्च 2026 को एक रेगुलराइज़ेशन की ग़लती सुधारी। GPT-5 भी ऐसी ही राह से गुज़रा, 138 मिनट से 214 और फिर 203। उसी पन्ने का FAQ अब भी GPT-5 को “लगभग 2 घंटे 17 मिनट” पर उद्धृत करता है, जो सबसे शुरुआती आँकड़े के क़रीब है।
रेखा कितनी तेज़ी से चढ़ी है
2025 के शोध-पत्र ने लघुगणकीय पैमाने पर 2019 से 2025 की शुरुआत के होराइज़न के बीच एक सीधी रेखा फ़िट की। उसने लगभग हर सात महीने में एक दोगुना होना पाया, यानी 207 दिन, जिसका 95% अंतराल 166 से 240 दिन था, और कहा कि 2024 के बाद से रुझान शायद तेज़ हुआ हो। शोध-पत्र ने 167 कार्य-घंटों के एक-महीने के होराइज़न तक एक सीधा-सादा एक्स्ट्रापोलेशन भी चलाया, जो 2028 के मध्य से 2031 के मध्य के बीच पड़ा, और इसके लेखक कहते हैं कि असली पूर्वानुमानों में त्रुटि ज़्यादा होगी।
जनवरी 2026 में बड़े सूट के साथ METR ने 2023 से अब तक के मॉडलों के लिए 131 दिन का दोगुना होने का समय बताया, जबकि मूल सूट में यह 165 दिन था। पूरी अवधि में, पहले के मॉडलों के पुराने अनुमानों में नए अनुमान जोड़ने पर, आँकड़ा 196 दिन रहा। 2024 के बाद के मॉडलों के लिए यह 109 दिन से गिरकर 89 रह गया। METR कहता है कि नए काम शायद कठिनाई के थोड़े अलग मिश्रण से आते हैं और रुझान कुछ हद तक इस पर संवेदनशील है कि सूट में कौन-से काम हैं।
डेटा फ़ाइल अब 2023 से 129 दिन (अंतराल 104 से 158 दिन) और कुल मिलाकर 188 दिन देती है, और नोट करती है कि वह 16 घंटे से ऊपर के अनुमान छोड़ देती है। क्वा ने जनवरी 2026 के एक METR नोट में लिखा कि लंबी अवधि के रुझान की ढलान ही वह संख्या है जिस पर भरोसा करना चाहिए, किसी एक मॉडल का सटीक होराइज़न नहीं। नोट में METR की मानक अस्वीकरण-पंक्ति है कि नोट अपरिष्कृत हैं और ज़रूरी नहीं कि संगठन के विचार दर्शाएँ।
जुलाई 2025 में क्वा और विंसेंट चेंग ने इस पद्धति को नौ मौजूदा बेंचमार्कों पर लगाया। GPQA, गणित प्रतियोगिताओं और LiveCodeBench जैसे सॉफ़्टवेयर और तर्क के परीक्षणों में 50 से 200 मिनट या उससे ज़्यादा के होराइज़न थे। विज़ुअल कंप्यूटर उपयोग (OSWorld और WebArena) में होराइज़न 40 से 100 गुना छोटे थे पर ऐसी ही दर से बढ़ रहे थे। सेल्फ़-ड्राइविंग, जिसे Tesla FSD डेटा से नापा गया, धीमे सुधरी, लगभग 0.6 दोगुना प्रति वर्ष की दर से। METR किसी एक बेंचमार्क के नतीजे को काफ़ी शोर वाला कहता है।
METR कहता है कि संख्या का यह मतलब नहीं है
क्वा के नोट का एक शीर्षक सबसे आम ग़लत पढ़त पर निशाना साधता है: “टाइम होराइज़न वह अवधि नहीं है जितनी देर AI स्वतंत्र रूप से काम कर सकते हैं”। वह उस सिलसिलेवार मानवीय श्रम की मात्रा का वर्णन करता है जिसे मॉडल 50% सफलता दर पर बदल सकता है।
METR का FAQ इस सवाल पर कि क्या 8 घंटे के होराइज़न का मतलब है कि AI सारी नौकरियाँ स्वचालित कर सकता है, “नहीं” में जवाब देता है, और तीन कारण देता है। लंबाई तय करने वाले इंसान परियोजना के किसी पुराने जानकार से ज़्यादा, कम संदर्भ वाले किसी नए कर्मचारी के क़रीब हैं। काम ज़्यादातर सॉफ़्टवेयर, मशीन लर्निंग और साइबर सुरक्षा के हैं। और ज़्यादातर नौकरियों में दूसरे लोग और ऐसे लक्ष्य भी होते हैं जिन्हें कोई प्रोग्राम स्कोर नहीं कर सकता। FAQ जोड़ता है कि उसके मानवीय समय संभवतः इसे बढ़ाकर आँकते हैं कि किसी विशेषज्ञ को कितना समय लगेगा, क्योंकि आधार-रेखा बनाने वालों के पास वही काम करने वाले पेशेवरों से कम संदर्भ था।
क्वा यह भी लिखते हैं कि X घंटे का 50% होराइज़न इसका मतलब नहीं कि X घंटे से छोटे काम सौंपे जा सकते हैं, क्योंकि भरोसे पर टिके कुछ काम को 98% या उससे ऊपर की सफलता दर चाहिए। वे जोड़ते हैं कि होराइज़न के दोगुना होने से स्वचालन की मात्रा दोगुनी नहीं होती। 2026 के सूट में 8 घंटे या उससे ज़्यादा आँके गए 31 कामों में से केवल 5 के मानवीय आधार-रेखा समय हैं, और बाक़ी के लिए METR ने अनुमान इस्तेमाल किए। क्वा लिखते हैं कि वे नहीं कह सकते कि Claude Opus 4.5 का सच्चा होराइज़न 3.5 घंटे है या 6.5।
धोखाधड़ी भी पढ़त बदल देती है। GPT-5.6 Sol के रिलीज़ से पहले के परीक्षण के अपने 26 जून 2026 के सारांश में METR को लगभग 11.3 घंटे मिले जब धोखाधड़ी की कोशिशों को विफलता गिना गया, 270 घंटे से ऊपर जब उन्हें सफलता गिना गया और 71 घंटे जब उन्हें हटा दिया गया, और उसने कहा कि वह इन तीनों में से किसी को भरोसेमंद माप नहीं मानता। हाल के एजेंटों की METR की दूसरी रीडिंग स्वतंत्र कोडिंग परीक्षणों के बगल में बैठती हैं, और परीक्षणों के घिस जाने की व्यापक समस्या बेंचमार्क पर हमारे लेख में है।
बर्कले के सांख्यिकीविदों की बाहरी जाँच
8 अक्टूबर 2026 को UC बर्कले के सांख्यिकी विभाग के ड्रू न्गुयेन और विलियम फ़िथियन ने एक प्रीप्रिंट डाला जो METR के 228 कामों और 26 AI प्रणालियों पर होराइज़न दोबारा निकालता है। METR मानवीय समय के लघुगणक और AI की कठिनाई के बीच एक सीधा संबंध फ़िट करता है। उन्होंने स्प्लाइन और आइटम-रिस्पॉन्स मॉडल फ़िट किए, जो इसे नहीं मानते।
उनका फ़िट किया वक्र मानवीय समय के 2 से 30 मिनट के बीच लगभग सपाट है और बाक़ी जगह लगभग रैखिक। इसलिए होराइज़न में 3 मिनट से 30 मिनट की छलाँग 30 मिनट से 5 घंटे की छलाँग से आसान है, हालाँकि दोनों दस गुना हैं। वे अपने काम को एक रचनात्मक आलोचना कहते हैं, ऐसे बिंदु-अनुमान देते हैं जो क्रॉस-वैलिडेटेड परीक्षणों पर बेहतर स्कोर करते हैं, और सुझाते हैं कि होराइज़न को नैदानिक आलेखों के साथ पढ़ा जाए, ख़ासकर जैसे-जैसे लंबे काम जुड़ते हैं।
12 नवंबर 2026 तक METR का टाइम-होराइज़न पन्ना कहता है कि वह अब सक्रिय रूप से अपडेट नहीं हो रहा, यह नोट 8 सितंबर 2026 को जोड़ा गया। पन्ना कहता है कि जब तक उसे सँभाला गया, कुछ मॉडल रिलीज़ के बहुत बाद नापे गए और कुछ क्षमता की कमी से छोड़ दिए गए।
स्रोत और आगे पढ़ने के लिए
- METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
- NeurIPS 2025 poster page for the time horizon paper
- METR: Time Horizon 1.1 (29 January 2026)
- METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
- METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
- METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
- METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
- METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
- Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
- Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
- UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
- Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
- METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।