चित्रण: tuput
मराठी
METR चा ५०% टाइम होरायझन म्हणजे कुशल माणसांना लागणाऱ्या वेळेने ठरवलेल्या कामाची अशी लांबी, जी AI एजंट निम्म्या वेळा पूर्ण करतो. METR च्या डेटा फाइलमध्ये GPT-4 सुमारे ४ मिनिटे आणि क्लॉड मिथॉस प्रिव्ह्यू (सुरुवातीची आवृत्ती) सुमारे १७.४ तास असे नोंदलेले आहे, आणि METR म्हणते की सध्याच्या कामांवर १६ तासांवरील आकडे विश्वासार्ह नाहीत.
बर्कलेतील ना-नफा संस्था METR AI एजंटची चाचणी करते. ती एखाद्या मॉडेलला त्याने निम्म्या वेळा पूर्ण केलेल्या कामाच्या लांबीवरून मोजते, आणि ही लांबी कुशल माणसांना ते काम करायला किती वेळ लागतो यावरून ठरते. METR च्या खुल्या डेटा फाइलमध्ये GPT-4 (मार्च २०२३) सुमारे ४ मिनिटे आणि क्लॉड मिथॉस प्रिव्ह्यू (सुरुवातीची आवृत्ती) सुमारे १७.४ तास अशी नोंद आहे; मिथॉस प्रिव्ह्यूची प्रकाशन तारीख एप्रिल २०२६ अशी दिलेली आहे. METR च्या स्वतःच्या पानावर लिहिले आहे: “Measurements above 16 hrs are unreliable with our current task suite.”
५०% टाइम होरायझन काय मोजतो
हे माप “Measuring AI Ability to Complete Long Software Tasks” या शीर्षकाच्या शोधनिबंधातून आले आहे. थॉमस क्वा यांच्या नेतृत्वाखालील २६ लेखकांनी तो १८ मार्च २०२५ रोजी arXiv वर टाकला. तो NeurIPS २०२५ मध्ये पोस्टर म्हणून मांडला गेला आणि त्याची शेवटची सुधारणा १० जुलै २०२६ रोजी झाली. METR ५०% टाइम होरायझनची व्याख्या अशी करते: मानवी तज्ज्ञाला जितका वेळ लागतो त्यावरून मोजलेला कामाचा कालावधी, ज्यावर एजंट निम्म्या वेळा यशस्वी होईल असा अंदाज आहे.
घड्याळ माणसांच्या बाजूने चालते. कुशल माणसे जे काम दोन तासांत पूर्ण करतात, ते मॉडेलला दहा मिनिटे लागली किंवा ते कधीच पूर्ण झाले नाही तरी, मापपट्टीवर दोन तासांवरच असते. METR च्या FAQ नुसार हा होरायझन कामाची कठीणता सांगतो, आणि AI त्यावर किती वेळ घालवतो याबद्दल काही सांगत नाही. त्याच FAQ मध्ये पुढे म्हटले आहे की एजंट पूर्ण करतात त्या कामांवर ते सहसा माणसांपेक्षा कितीतरी पटींनी वेगवान असतात.
५०% होरायझन हा बसवलेला वक्र आहे, आणि त्या लांबीच्या प्रत्येक कामातील निम्मी कामे मॉडेल पास करते असा त्याचा अर्थ नाही. FAQ मध्ये उदाहरण म्हणून GPT-5 घेतले आहे. ज्या कामांना मानवी तज्ज्ञांना ९० मिनिटे ते ३ तास लागले, त्यांपैकी सुमारे एक तृतीयांश कामांत GPT-5 एजंट प्रत्येक वेळी यशस्वी झाला, सुमारे एक तृतीयांश कामांत प्रत्येक वेळी अयशस्वी झाला, आणि उरलेल्यांत कधी इकडे कधी तिकडे गेला.
मार्च २०२५ च्या आपल्या लेखात METR ने नोंदवले की तेव्हा तपासलेली मॉडेल्स माणसांना ४ मिनिटांहून कमी लागणाऱ्या कामांत जवळजवळ प्रत्येक वेळी यशस्वी झाली, आणि सुमारे ४ तासांहून जास्त लागणाऱ्या कामांत १०% पेक्षा कमी वेळा यशस्वी झाली.
ही मोजपट्टी कशी बांधली आहे
मूळ संचात तीन स्रोतांतील १७० कामे होती. त्यापैकी सत्त्याण्णव HCAST मधून आली; हा मशीन लर्निंग, सायबरसुरक्षा, सॉफ्टवेअर अभियांत्रिकी आणि तर्क यांतील १८९ कामांचा बेंचमार्क आहे. सात RE-Bench वातावरणे होती, प्रत्येकी आठ तासांची. RE-Bench च्या लेखकांनी ६१ मानवी तज्ज्ञांचे ७१ आठ तासांचे प्रयत्न गोळा केले, आणि दोन तासांच्या मर्यादेत सर्वोत्तम AI एजंटनी तज्ज्ञांपेक्षा ४ पट जास्त गुण मिळवले, तर आठ तासांवर माणसे थोडी पुढे राहिली असे त्यांना आढळले. शेवटची ६६ कामे ही या शोधनिबंधासाठी METR ने लिहिलेली छोटी कामे होती, प्रत्येकी १ ते ३० सेकंदांची.
शोधनिबंधातील उदाहरणांतून या श्रेणीचा अंदाज येतो. सर्वात छोटे काम बहुपर्यायी प्रश्न आहे: “Which file is a shell script?”, सुमारे ३ सेकंदांचे. ५६ मिनिटांच्या एका कामात नमुना फाइलींवरून नियम ओळखून JSON एका स्वरूपातून दुसऱ्या स्वरूपात बदलणारी Python स्क्रिप्ट लिहायची असते. आठ तासांच्या एका कामात एजंटला विशेष CUDA कोडने ट्रेड-बॅकटेस्टिंग साधन ३० पट वेगवान करायचे असते.
प्रत्येक कामाचे गुणांकन आपोआप होते. लांबीसाठी METR ने माणसे नेमली: ८०० हून जास्त बेसलाइन, एकूण २,५२९ तास, सॉफ्टवेअर अभियांत्रिकी, मशीन लर्निंग किंवा सायबरसुरक्षेतील कुशल व्यावसायिकांकडून, ज्यांना सरासरी सुमारे ५ वर्षांचा संबंधित अनुभव होता. कामाची लांबी म्हणजे यशस्वी मानवी वेळांचा भौमितिक मध्य. प्रत्येक मॉडेलसाठी METR यशाची शक्यता आणि कामाची लांबी यांचा वक्र बसवते आणि तो ५०% ला कुठे ओलांडतो ते वाचते.
२९ जानेवारी २०२६ रोजी METR ने टाइम होरायझन १.१ प्रसिद्ध केले. संच १७० वरून २२८ कामांचा झाला; ७३ कामे जोडली गेली, सगळी HCAST मधून, आणि १५ काढली गेली. ८ तास किंवा जास्त अंदाजित असलेली कामे १४ वरून ३१ झाली. METR ने आपला मूल्यांकन कोडही Vivaria या स्वतःच्या साधनावरून Inspect वर हलवला. हे UK AI Security Institute ने विकसित केलेले खुल्या स्रोताचे फ्रेमवर्क आहे (त्याच्या दस्तऐवजीकरणात आता Meridian Labs चे सहविकासक म्हणून नाव आहे), आणि त्यासोबत २०० हून जास्त तयार मूल्यांकने येतात. संस्थेच्या स्वतःच्या एजंट चाचणीचा विषय तिच्या जुलै २०२६ च्या घटना अहवालात आहे.
METR ने दोन्ही प्रणालींची तुलना पाच मॉडेल्सवर केली. अंदाज थोडे वेगळे आले, आणि GPT-4o व o3 यांना Vivaria मध्ये लक्षणीयरीत्या जास्त गुण मिळाले; METR ने याचा अर्थ मॉडेलभोवती गुंडाळलेल्या प्रॉम्प्ट्स आणि साधनांची संवेदनशीलता असा घेतला.
डेटा फाइलमध्ये काय नोंदलेले आहे
METR च्या टाइम-होरायझन पानावर त्याचा कच्चा डेटा जोडलेला आहे. १२ नोव्हेंबर २०२६ रोजी वाचलेल्या फाइलमध्ये हे ५०% होरायझन नोंदलेले आहेत; प्रकाशन तारखा फाइलने दिल्याप्रमाणे आहेत. शेवटचा स्तंभ METR ने स्वतःच्या सांख्यिकीय पुनर्नमुनाकरणातून काढलेला अंतराल आहे.
| मॉडेल | नोंदलेली प्रकाशन तारीख | ५०% होरायझन | METR चा अंतराल |
|---|---|---|---|
| GPT-4 | १४ मार्च २०२३ | ४ मिनिटे | १.९ ते ८ मिनिटे |
| o1 | ५ डिसेंबर २०२४ | ३९ मिनिटे | २१ ते ६५ मिनिटे |
| Claude 3.7 Sonnet | २४ फेब्रुवारी २०२५ | ६० मिनिटे | ३३ ते १०४ मिनिटे |
| o3 | १६ एप्रिल २०२५ | १२० मिनिटे | ७५ ते १९१ मिनिटे |
| GPT-5 | ७ ऑगस्ट २०२५ | ३.४ तास | १.९ ते ६.८ तास |
| Claude Opus 4.5 | २४ नोव्हेंबर २०२५ | ४.९ तास | २.७ ते १०.४ तास |
| Claude Opus 4.6 | ५ फेब्रुवारी २०२६ | १२.० तास | ५.३ ते ६०.६ तास |
| Claude Mythos Preview (early) | ७ एप्रिल २०२६ | १७.४ तास | ८.५ ते ५५.१ तास |
वरच्या टोकाला अंतराल रुंदावतात. क्लॉड ओपस ४.६ च्या १२.० तासांसोबत ५.३ ते ६०.६ तासांचा पल्ला येतो. शोधनिबंधातील GPT-2 चा पहिला अंदाज सुमारे २ सेकंद होता, आणि METR ची फाइल आता सुमारे ३ सेकंद नोंदवते.
METR ने आपला संच सुधारला तसा त्याच मॉडेलचा आकडाही बदलला आहे. क्लॉड ओपस ४.५ मूळ पद्धतीनुसार २८९ मिनिटे, जानेवारी २०२६ च्या आवृत्तीत ३२० मिनिटे आणि आताच्या फाइलमध्ये २९३ मिनिटे असे नोंदलेले होते. पानावरील अद्ययावत नोंदींनुसार METR ने ३ मार्च २०२६ रोजी एक रेग्युलरायझेशनची चूक दुरुस्त केली. GPT-5 चाही असाच प्रवास झाला: १३८ मिनिटांवरून २१४ आणि मग २०३. त्याच पानावरील FAQ अजूनही GPT-5 ला “around 2 hours and 17 minutes” असे उद्धृत करते, जे सर्वात पहिल्या आकड्याजवळचे आहे.
रेषा किती वेगाने चढली आहे
२०२५ च्या शोधनिबंधाने २०१९ पासून २०२५ च्या सुरुवातीपर्यंतच्या होरायझनमधून लॉगरिदमिक मापावर एक सरळ रेषा बसवली. त्यात सुमारे दर सात महिन्यांनी एक दुप्पट असे आढळले, म्हणजे २०७ दिवस, ९५% अंतराल १६६ ते २४० दिवस, आणि २०२४ नंतर हा कल वेगावला असू शकतो असे त्यात म्हटले. शोधनिबंधाने १६७ कामाच्या तासांच्या एका महिन्याच्या होरायझनपर्यंत एक ढोबळ एक्स्ट्रापोलेशनही केले, जे २०२८ च्या मध्यापासून २०३१ च्या मध्यापर्यंत येते, आणि खऱ्या भाकितांत त्रुटी जास्त असेल असे लेखक सांगतात.
जानेवारी २०२६ मध्ये मोठ्या संचासह METR ने २०२३ पासूनच्या मॉडेल्ससाठी १३१ दिवसांचा दुप्पट होण्याचा काळ नोंदवला, तर मूळ संचात तो १६५ दिवस होता. संपूर्ण कालावधीसाठी, आधीच्या मॉडेल्सचे जुने अंदाज नव्या अंदाजांशी जोडून, आकडा १९६ दिवसच राहिला. २०२४ पासूनच्या मॉडेल्ससाठी तो १०९ दिवसांवरून ८९ वर आला. नवी कामे कदाचित कठीणतेच्या थोड्या वेगळ्या मिश्रणातून आली आहेत आणि संचात कोणती कामे आहेत यावर हा कल काहीसा अवलंबून आहे, असे METR म्हणते.
डेटा फाइल आता २०२३ पासून १२९ दिवस (अंतराल १०४ ते १५८ दिवस) आणि एकूण १८८ दिवस देते, आणि १६ तासांवरील अंदाज ती वगळते असे नोंदवते. जानेवारी २०२६ च्या METR नोटमध्ये क्वा यांनी लिहिले की दीर्घकालीन कलाचा उतार हाच भरवशाचा आकडा आहे, कोणत्याही एका मॉडेलचा नेमका होरायझन नव्हे. नोटमध्ये METR चा नेहमीचा इशारा आहे की नोट्स अप्रकाशित स्वरूपाच्या असतात आणि संस्थेची मते त्या दर्शवतातच असे नाही.
जुलै २०२५ मध्ये क्वा आणि व्हिन्सेंट चेंग यांनी ही पद्धत नऊ विद्यमान बेंचमार्कवर लावली. GPQA, गणित स्पर्धा आणि LiveCodeBench यांसारख्या सॉफ्टवेअर आणि तर्काच्या चाचण्यांचे होरायझन ५० ते २०० मिनिटे किंवा जास्त होते. दृश्य संगणक वापर (OSWorld आणि WebArena) याचे होरायझन ४० ते १०० पट छोटे होते, पण ते तितक्याच वेगाने वाढत होते. स्वयंचलित वाहन चालन, Tesla FSD डेटाने मोजले असता, दर वर्षी सुमारे ०.६ दुप्पट या वेगाने, अधिक हळू सुधारले. कोणत्याही एका बेंचमार्कचा निकाल बराच अस्थिर असतो असे METR म्हणते.
या आकड्याचा अर्थ काय नाही, ते METR सांगते
क्वा यांच्या नोटमध्ये सर्वात सामान्य गैरसमजाकडे रोख असलेले एक शीर्षक आहे: “Time horizon is not the length of time AIs can work independently”. मॉडेल ५०% यशाने माणसाच्या किती क्रमिक श्रमाची जागा घेऊ शकते, ते हा आकडा वर्णन करतो.
८ तासांचा होरायझन म्हणजे AI सर्व नोकऱ्या स्वयंचलित करू शकते का, या प्रश्नाला METR चे FAQ “No” असे उत्तर देते आणि तीन कारणे देते. लांबी ठरवणारी माणसे प्रकल्पाच्या अनुभवी जाणकारापेक्षा कमी संदर्भ असलेल्या नवीन नियुक्तीच्या जवळची आहेत. कामे बहुतेक सॉफ्टवेअर, मशीन लर्निंग आणि सायबरसुरक्षेतील आहेत. बहुतेक नोकऱ्यांत इतर माणसे आणि असे उद्दिष्टे असतात ज्यांचे गुणांकन कोणताही प्रोग्राम करू शकत नाही. FAQ पुढे म्हणते की त्यांचे मानवी वेळ तज्ज्ञाला लागणाऱ्या वेळाला बहुधा जास्त दाखवतात, कारण बेसलाइन करणाऱ्यांकडे तेच काम करणाऱ्या व्यावसायिकांपेक्षा कमी संदर्भ होता.
क्वा असेही लिहितात की X तासांचा ५०% होरायझन म्हणजे X तासांहून छोटी कामे सोपवता येतात असे नाही, कारण विश्वासार्हतेवर अवलंबून असलेल्या काही कामांना ९८% किंवा जास्त यशाचा दर लागतो. ते पुढे म्हणतात की होरायझन दुप्पट झाला तर स्वयंचलनाची पातळी दुप्पट होत नाही. २०२६ च्या संचातील ८ तास किंवा जास्त अंदाजित ३१ कामांपैकी फक्त ५ कामांना मानवी बेसलाइन वेळा आहेत, आणि बाकीच्यांसाठी METR ने अंदाज वापरले. क्लॉड ओपस ४.५ चा खरा होरायझन ३.५ तास आहे की ६.५ तास, ते आपण सांगू शकत नाही, असे क्वा लिहितात.
फसवणुकीमुळेही वाचन बदलते. GPT-5.6 Sol च्या प्रकाशनपूर्व चाचणीच्या २६ जून २०२६ च्या सारांशात, फसवणुकीचे प्रयत्न अपयश मानले असता METR ला सुमारे ११.३ तास, यश मानले असता २७० तासांहून जास्त आणि वगळले असता ७१ तास मिळाले, आणि तीनपैकी कोणतेही विश्वासार्ह मोजमाप मानले नाही असे सांगितले. अलीकडील एजंटचे इतर METR वाचन स्वतंत्र कोडिंग चाचण्यांच्या शेजारी बसतात, आणि चाचण्या जुन्या होत जाण्याची व्यापक समस्या बेंचमार्कवरील आमच्या लेखात आहे.
बर्कलेच्या सांख्यिकीतज्ज्ञांकडून बाहेरील तपासणी
८ ऑक्टोबर २०२६ रोजी UC बर्कलेच्या सांख्यिकी विभागातील ड्र्यू न्गुयेन आणि विल्यम फिथियन यांनी एक प्रीप्रिंट टाकला, ज्यात METR च्या २२८ कामांवर आणि २६ AI प्रणालींवर होरायझन पुन्हा काढले आहेत. METR मानवी वेळाचा लॉगरिदम आणि AI ची कठीणता यांच्यात सरळ संबंध बसवते. त्यांनी स्प्लाइन आणि आयटम-रिस्पॉन्स मॉडेल्स बसवली, जी असे गृहीत धरत नाहीत.
त्यांचा बसवलेला वक्र मानवी वेळाच्या २ ते ३० मिनिटांदरम्यान जवळजवळ सपाट आहे आणि इतरत्र जवळजवळ रेषीय आहे. त्यामुळे ३ मिनिटांवरून ३० मिनिटांपर्यंतची झेप ३० मिनिटांवरून ५ तासांपर्यंतच्या झेपेपेक्षा सोपी आहे, जरी दोन्ही दहापट आहेत. ते आपल्या कामाला रचनात्मक टीका म्हणतात, क्रॉस-व्हॅलिडेशन चाचण्यांत जास्त चांगले गुण मिळवणारे बिंदू-अंदाज देतात, आणि विशेषतः जास्त लांबीची कामे जोडली जात असताना होरायझन निदानात्मक आलेखांसह वाचावेत असे सुचवतात.
१२ नोव्हेंबर २०२६ रोजी METR चे टाइम-होरायझन पान सांगते की ते आता सक्रियपणे अद्ययावत केले जात नाही; ही नोंद ८ सप्टेंबर २०२६ रोजी जोडली गेली. पान सांगते की ते सांभाळले जात असताना काही मॉडेल्स प्रकाशनानंतर बऱ्याच काळाने मोजली गेली आणि काही क्षमतेच्या अभावी वगळली गेली.
स्रोत आणि पुढील वाचन
- METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
- NeurIPS 2025 poster page for the time horizon paper
- METR: Time Horizon 1.1 (29 January 2026)
- METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
- METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
- METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
- METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
- METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
- Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
- Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
- UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
- Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
- METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)
हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.
आवडलं? पुढचा लेख मिळवा.
एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.