Skip to content
METR இன் நேர வரம்பு GPT-4 ஐ 4 நிமிடங்கள் என்றும் Claude Mythos Preview ஐ 17.4 மணி நேர மனித உழைப்பு என்றும் மதிப்பிட்டது; 16 மணி நேரத்துக்கு மேலான அளவீடுகள் நம்பகமற்றவை என்று அந்த இலாப நோக்கற்ற அமைப்பே கூறுகிறது
செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்

METR இன் நேர வரம்பு GPT-4 ஐ 4 நிமிடங்கள் என்றும் Claude Mythos Preview ஐ 17.4 மணி நேர மனித உழைப்பு என்றும் மதிப்பிட்டது; 16 மணி நேரத்துக்கு மேலான அளவீடுகள் நம்பகமற்றவை என்று அந்த இலாப நோக்கற்ற அமைப்பே கூறுகிறது

வரைபடம்: tuput

தமிழ்

METR இன் 50% நேர வரம்பு என்பது, திறமையான மனிதர்கள் எடுக்கும் நேரத்தால் நிர்ணயிக்கப்படும் பணியின் நீளம்; ஒரு AI முகவர் அதில் பாதி முறை வெற்றி பெறும். METR இன் தரவுக் கோப்பு GPT-4 ஐ ஏறக்குறைய 4 நிமிடங்கள் என்றும், Claude Mythos Preview (ஆரம்பம்) ஐ ஏறக்குறைய 17.4 மணி நேரம் என்றும் பட்டியலிடுகிறது; தற்போதைய பணிகளில் 16 மணி நேரத்துக்கு மேலான அளவீடுகள் நம்பகமற்றவை என்று METR கூறுகிறது.

· · 8 நிமிட வாசிப்பு

AI முகவர்களைச் சோதிக்கும் பெர்க்கலியிலுள்ள இலாப நோக்கற்ற அமைப்பான METR, ஒரு மாதிரியை அது பாதி முறை முடிக்கும் பணியின் நீளத்தால் மதிப்பிடுகிறது; நீளம் என்பது திறமையான மனிதர்கள் எடுக்கும் நேரத்தால் நிர்ணயிக்கப்படுகிறது. METR இன் திறந்த தரவுக் கோப்பு GPT-4 (2023 மார்ச்) ஐ ஏறக்குறைய 4 நிமிடங்கள் என்றும், 2026 ஏப்ரல் வெளியீட்டுத் தேதியுடன் பட்டியலிடப்பட்ட Claude Mythos Preview (ஆரம்பம்) ஐ ஏறக்குறைய 17.4 மணி நேரம் என்றும் பட்டியலிடுகிறது. “எங்கள் தற்போதைய பணித் தொகுப்புடன் 16 மணி நேரத்துக்கு மேலான அளவீடுகள் நம்பகமற்றவை” என்று METR இன் சொந்தப் பக்கம் கூறுகிறது.

50% நேர வரம்பு எதை எண்ணுகிறது

“Measuring AI Ability to Complete Long Software Tasks” என்ற தலைப்பிலான ஆய்வுக் கட்டுரையிலிருந்து இந்த அளவீடு வருகிறது; தாமஸ் குவா தலைமையிலான 26 ஆசிரியர்கள் அதை 2025 மார்ச் 18 அன்று arXiv இல் வெளியிட்டனர். அது NeurIPS 2025 இல் ஒரு சுவரொட்டியாக இடம்பெற்று, 2026 ஜூலை 10 அன்று கடைசியாகத் திருத்தப்பட்டது. 50% நேர வரம்பை, ஒரு மனித நிபுணர் எடுக்கும் நேரத்தால் அளக்கப்படும், ஒரு முகவர் பாதி முறை வெற்றி பெறும் என்று கணிக்கப்படும் பணிக் கால அளவாக METR வரையறுக்கிறது.

நிறுத்தக் கடிகாரம் மனிதப் பக்கத்தில் ஓடுகிறது. திறமையான மனிதர்கள் இரண்டு மணி நேரத்தில் முடிக்கும் பணி, ஒரு மாதிரிக்குப் பத்து நிமிடம் ஆனாலும் அது ஒருபோதும் முடிக்காவிட்டாலும், அளவுகோலில் இரண்டு மணி நேரத்தில் இருக்கும். நேர வரம்பு ஒரு பணி எவ்வளவு கடினம் என்பதை விவரிக்கிறது, AI அதில் செலவிடும் நேரத்தைப் பற்றி எதுவும் கூறாது என்று METR இன் அடிக்கடி கேட்கப்படும் கேள்விகள் கூறுகின்றன. முகவர்கள் தாம் முடிக்கும் பணிகளில் பொதுவாக மனிதர்களை விடப் பல மடங்கு வேகமானவை என்றும் அதே பகுதி சேர்க்கிறது.

50% வரம்பு என்பது பொருத்தப்பட்ட வளைவு; அந்த நீளமுள்ள ஒவ்வொரு பணியிலும் பாதியை மாதிரி தேர்ச்சி பெறுகிறது என்று இதற்குப் பொருள் அல்ல. இதற்கு GPT-5 ஐ எடுத்துக்காட்டாக அந்தப் பகுதி பயன்படுத்துகிறது. மனித நிபுணர்களுக்கு 90 நிமிடம் முதல் 3 மணி நேரம் எடுத்த பணிகளில், ஒரு GPT-5 முகவர் ஏறக்குறைய மூன்றில் ஒரு பங்குப் பணிகளில் ஒவ்வொரு முறையும் வெற்றி பெற்றது, ஏறக்குறைய மூன்றில் ஒரு பங்கில் ஒவ்வொரு முறையும் தோற்றது, மீதியில் இரு முடிவுகளும் வந்தன.

அப்போது தான் சோதித்த மாதிரிகள் மனிதர்களுக்கு 4 நிமிடத்துக்குள் ஆகும் பணிகளில் கிட்டத்தட்ட ஒவ்வொரு முறையும் வெற்றி பெற்றன என்றும், ஏறக்குறைய 4 மணி நேரத்துக்கு மேல் ஆகும் பணிகளில் 10% க்கும் குறைவான முறையே வெற்றி பெற்றன என்றும் 2025 மார்ச் பதிவில் METR தெரிவித்தது.

இந்த அளவுகோல் எப்படிக் கட்டப்பட்டது

அசல் தொகுப்பில் மூன்று ஆதாரங்களிலிருந்து 170 பணிகள் இருந்தன. HCAST இலிருந்து தொண்ணூற்றேழு வந்தன; இது இயந்திரக் கற்றல், இணையப் பாதுகாப்பு, மென்பொருள் பொறியியல், பகுத்தறிவு ஆகியவற்றின் 189 பணிகள் கொண்ட அளவுகோல். ஏழு RE-Bench சூழல்கள், ஒவ்வொன்றும் எட்டு மணி நேரம். 61 மனித நிபுணர்களின் 71 எட்டு-மணி நேர முயற்சிகளை RE-Bench இன் ஆசிரியர்கள் திரட்டி, இரண்டு மணி நேர ஒதுக்கீட்டில் சிறந்த AI முகவர்கள் நிபுணர்களை விட 4 மடங்கு அதிக மதிப்பெண் பெற்றன என்றும், எட்டு மணி நேரத்தில் மனிதர்கள் குறைந்த வித்தியாசத்தில் முன்னிலையில் இருந்தனர் என்றும் கண்டனர். கடைசி 66, இந்தக் கட்டுரைக்காக METR எழுதிய குறுகிய பணிகள்; ஒவ்வொன்றும் 1 முதல் 30 விநாடிகள் நீளம்.

கட்டுரையின் எடுத்துக்காட்டுகள் வரம்பைக் காட்டுகின்றன. மிகக் குறுகியது ஒரு பல தேர்வுக் கேள்வி, “எந்தக் கோப்பு ஒரு ஷெல் ஸ்கிரிப்ட்?”, ஏறக்குறைய 3 விநாடிகள். 56 நிமிடப் பணி, மாதிரிக் கோப்புகளிலிருந்து விதிகளை ஊகித்து, JSON ஐ ஒரு வடிவிலிருந்து மற்றொன்றுக்கு மாற்றும் பைதான் ஸ்கிரிப்டைக் கேட்கிறது. எட்டு மணி நேரப் பணி, வர்த்தகப் பின்சோதனைக் கருவியை 30 மடங்கு ஆதாயத்தை இலக்காகக் கொண்டு தனிப்பயன் CUDA குறியீட்டால் வேகப்படுத்த முகவரைக் கேட்கிறது.

ஒவ்வொரு பணியும் தானாகவே மதிப்பிடப்படுகிறது. நீளங்களுக்காக METR மனிதர்களை நியமித்தது: மென்பொருள் பொறியியல், இயந்திரக் கற்றல் அல்லது இணையப் பாதுகாப்பில் சராசரியாக ஏறக்குறைய 5 ஆண்டு தொடர்புடைய அனுபவம் கொண்ட திறமையான தொழில்முறையாளர்களிடமிருந்து, மொத்தம் 2,529 மணி நேரத்தைக் கொண்ட 800 க்கும் மேற்பட்ட அடிப்படை அளவீடுகள். ஒரு பணியின் நீளம், வெற்றிகரமான மனித நேரங்களின் வடிவியல் சராசரி. ஒவ்வொரு மாதிரிக்கும், பணி நீளத்துக்கு எதிரான வெற்றி நிகழ்தகவின் வளைவை METR பொருத்தி, அது 50% ஐக் கடக்கும் இடத்தைப் படிக்கிறது.

2026 ஜனவரி 29 அன்று METR நேர வரம்பு 1.1 ஐ வெளியிட்டது. தொகுப்பு 170 இலிருந்து 228 பணிகளாக வளர்ந்தது; 73 சேர்க்கப்பட்டன, அனைத்தும் HCAST இலிருந்து, 15 நீக்கப்பட்டன. 8 மணி நேரம் அல்லது அதற்கு மேல் என மதிப்பிடப்பட்ட பணிகள் 14 இலிருந்து 31 ஆயின. METR தனது மதிப்பீட்டுக் குறியீட்டை விவேரியா என்ற உள்நாட்டுக் கருவியிலிருந்து, ஐக்கிய இராச்சிய AI பாதுகாப்பு நிறுவனம் உருவாக்கிய, 200 க்கும் மேற்பட்ட தயார்நிலை மதிப்பீடுகளுடன் வரும் திறந்த மூலக் கட்டமைப்பான இன்ஸ்பெக்டுக்கு மாற்றியது (அதன் ஆவணங்கள் இப்போது மெரிடியன் லேப்ஸை இணை உருவாக்குநராகப் பெயரிடுகின்றன). அந்த நிறுவனத்தின் சொந்த முகவர் சோதனை, அதன் 2026 ஜூலை சம்பவ அறிக்கையின் பொருள்.

ஐந்து மாதிரிகளில் இரு அமைப்புகளையும் METR ஒப்பிட்டது. மதிப்பீடுகள் சற்று வேறுபட்டன; GPT-4o, o3 ஆகியவை விவேரியாவில் குறிப்பிடத்தக்க அளவு அதிக மதிப்பெண் பெற்றன; இதை மாதிரியைச் சுற்றியுள்ள தூண்டுதல்கள், கருவிகளுக்கான உணர்திறன் என்று METR படித்தது.

தரவுக் கோப்பு பட்டியலிடுவது என்ன

METR இன் நேர வரம்புப் பக்கம் அதன் மூலத் தரவை இணைக்கிறது. 2026 நவம்பர் 12 அன்று படிக்கப்பட்ட கோப்பு, கோப்பு தரும் வெளியீட்டுத் தேதிகளுடன் இந்த 50% வரம்புகளைப் பட்டியலிடுகிறது. கடைசி நெடுவரிசை, METR இன் புள்ளியியல் மறுமாதிரியெடுப்பிலிருந்து வந்த அதன் சொந்த இடைவெளி.

மாதிரிபட்டியலிடப்பட்ட வெளியீட்டுத் தேதி50% வரம்புMETR இன் இடைவெளி
GPT-414 March 20234 நிமிடங்கள்1.9 முதல் 8 நிமிடங்கள்
o15 December 202439 நிமிடங்கள்21 முதல் 65 நிமிடங்கள்
Claude 3.7 Sonnet24 February 202560 நிமிடங்கள்33 முதல் 104 நிமிடங்கள்
o316 April 2025120 நிமிடங்கள்75 முதல் 191 நிமிடங்கள்
GPT-57 August 20253.4 மணி நேரம்1.9 முதல் 6.8 மணி நேரம்
Claude Opus 4.524 November 20254.9 மணி நேரம்2.7 முதல் 10.4 மணி நேரம்
Claude Opus 4.65 February 202612.0 மணி நேரம்5.3 முதல் 60.6 மணி நேரம்
Claude Mythos Preview (ஆரம்பம்)7 April 202617.4 மணி நேரம்8.5 முதல் 55.1 மணி நேரம்

மேல்நிலையில் இடைவெளிகள் விரிகின்றன. Claude Opus 4.6 இன் 12.0 மணி நேரத்துடன் 5.3 முதல் 60.6 மணி நேர வரம்பு வருகிறது. GPT-2 க்கான கட்டுரையின் முதல் மதிப்பீடு ஏறக்குறைய 2 விநாடிகள்; METR இன் கோப்பு இப்போது ஏறக்குறைய 3 என்று பட்டியலிடுகிறது.

METR தனது தொகுப்பைத் திருத்தியபோது ஒரே மாதிரியின் எண்ணும் நகர்ந்தது. Claude Opus 4.5, அசல் முறையில் 289 நிமிடங்கள், 2026 ஜனவரி வெளியீட்டில் 320 நிமிடங்கள், இப்போதைய கோப்பில் 293 நிமிடங்கள் எனப் பட்டியலிடப்பட்டது. 2026 மார்ச் 3 அன்று ஒரு ஒழுங்குபடுத்தல் பிழையை METR திருத்தியது என்று பக்கத்தின் புதுப்பிப்புப் பதிவு குறிப்பிடுகிறது. GPT-5 உம் இதேபோன்ற பாதையில் சென்றது: 138 நிமிடங்களிலிருந்து 214, பின்னர் 203. அதே பக்கத்தின் அடிக்கடி கேட்கப்படும் கேள்விகள் இன்னும் GPT-5 ஐ “ஏறக்குறைய 2 மணி 17 நிமிடங்கள்” என்று மேற்கோள் காட்டுகின்றன; இது ஆரம்ப எண்ணுக்கு அருகில் உள்ளது.

கோடு எவ்வளவு வேகமாக ஏறியுள்ளது

2025 கட்டுரை, 2019 முதல் 2025 தொடக்கம் வரையிலான வரம்புகள் வழியாக, மடக்கை அளவில் ஒரு நேர்க்கோட்டைப் பொருத்தியது. ஏறக்குறைய ஒவ்வோர் ஏழு மாதத்துக்கும் ஒரு இரட்டிப்பை அது கண்டது; 95% இடைவெளி 166 முதல் 240 நாட்கள் உடன் 207 நாட்கள். 2024 முதல் போக்கு வேகமடைந்திருக்கலாம் என்றும் அது கூறியது. 167 வேலை நேரங்கள் கொண்ட ஒரு மாத வரம்புக்கு ஒரு எளிய நீட்டிப்பையும் அந்தக் கட்டுரை நடத்தியது; அது 2028 நடுவுக்கும் 2031 நடுவுக்கும் இடையே விழுந்தது; உண்மையான கணிப்புகளில் பெரிய பிழை இருக்கும் என்று அதன் ஆசிரியர்கள் கூறுகின்றனர்.

2026 ஜனவரியில் பெரிய தொகுப்புடன், 2023 முதலான மாதிரிகளுக்கு 131 நாள் இரட்டிப்பு நேரத்தை METR தெரிவித்தது; அசல் தொகுப்பில் இது 165 நாட்கள். முந்தைய மாதிரிகளுக்கான பழைய மதிப்பீடுகளுடன் புதியவற்றை இணைத்து, முழுக் காலத்திலும் எண் 196 நாட்களாகவே இருந்தது. 2024 முதலான மாதிரிகளுக்கு இது 109 நாட்களிலிருந்து 89 ஆகக் குறைந்தது. புதிய பணிகள் சற்று வேறுபட்ட கடினக் கலவையிலிருந்து வந்திருக்கலாம் என்றும், தொகுப்பில் எந்தப் பணிகள் உள்ளன என்பதைப் பொறுத்துப் போக்கு ஓரளவு உணர்திறன் கொண்டது என்றும் METR கூறுகிறது.

தரவுக் கோப்பு இப்போது 2023 முதலுக்கு 129 நாட்கள் (இடைவெளி 104 முதல் 158 நாட்கள்), ஒட்டுமொத்தமாக 188 நாட்கள் எனத் தருகிறது; 16 மணி நேரத்துக்கு மேலான மதிப்பீடுகளை அது விலக்குகிறது என்றும் குறிப்பிடுகிறது. நீண்டகாலப் போக்கின் சரிவே நம்பத்தக்க எண், எந்த ஒரு மாதிரியின் துல்லியமான வரம்பும் அல்ல என்று 2026 ஜனவரி METR குறிப்பில் குவா எழுதினார். குறிப்புகள் மெருகேற்றப்படாதவை, அமைப்பின் கருத்துகளைப் பிரதிபலிக்கும் என்று அவசியமில்லை என்ற METR இன் வழக்கமான மறுப்பு அந்தக் குறிப்பில் உள்ளது.

2025 ஜூலையில் குவாவும் வின்சென்ட் செங்கும் இந்த முறையை ஏற்கெனவே உள்ள ஒன்பது அளவுகோல்களுக்குப் பயன்படுத்தினர். GPQA, கணிதப் போட்டிகள், LiveCodeBench போன்ற மென்பொருள், பகுத்தறிவுச் சோதனைகளுக்கு வரம்புகள் 50 முதல் 200 நிமிடங்கள் அல்லது அதற்கு மேல். காட்சிவழிக் கணினிப் பயன்பாட்டுக்கு (OSWorld, WebArena) வரம்புகள் 40 முதல் 100 மடங்கு குறைவாக இருந்தன, ஆனால் இதே விகிதத்தில் உயர்ந்தன. டெஸ்லா FSD தரவால் அளக்கப்பட்ட தானோட்டம், ஆண்டுக்கு ஏறக்குறைய 0.6 இரட்டிப்பு என மெதுவாக மேம்பட்டது. எந்த ஓர் அளவுகோலின் முடிவையும் மிகவும் இரைச்சலுடையது என்று METR அழைக்கிறது.

எண்ணுக்கு அர்த்தம் இல்லை என்று METR கூறுவது

மிகப் பொதுவான தவறான வாசிப்பைக் குறிவைக்கும் ஒரு தலைப்பு குவாவின் குறிப்பில் உள்ளது: “நேர வரம்பு என்பது AI கள் சுதந்திரமாக வேலை செய்யக்கூடிய காலநீளம் அல்ல”. 50% வெற்றி விகிதத்தில் ஒரு மாதிரி மாற்றக்கூடிய தொடர் மனித உழைப்பின் அளவை அது விவரிக்கிறது.

8 மணி நேர வரம்பு என்றால் AI அனைத்து வேலைகளையும் தானியக்கமாக்க முடியுமா என்பதற்கு METR இன் அடிக்கடி கேட்கப்படும் கேள்விகள் “இல்லை” என்று பதிலளித்து, மூன்று காரணங்களைத் தருகின்றன. நீளங்களை நிர்ணயிக்கும் மனிதர்கள், திட்டத்தின் மூத்தவரைப் போல அல்லாமல், குறைந்த சூழல் அறிவுடைய புதிய பணியாளருக்கு நெருக்கமானவர்கள். பணிகள் பெரும்பாலும் மென்பொருள், இயந்திரக் கற்றல், இணையப் பாதுகாப்பு சார்ந்தவை. பெரும்பாலான வேலைகளில் வேறு மனிதர்களும், எந்தத் திட்டமும் மதிப்பிட முடியாத இலக்குகளும் உள்ளன. அடிப்படை அளவீட்டாளர்களுக்கு, அதே வேலையைச் செய்யும் தொழில்முறையாளர்களை விடக் குறைந்த சூழல் இருந்ததால், அதன் மனித நேரங்கள் ஒரு நிபுணர் எடுக்கும் நேரத்தை அதிகமாக மதிப்பிட்டிருக்க வாய்ப்புள்ளது என்றும் அந்தப் பகுதி சேர்க்கிறது.

X மணி நேரத்தின் 50% வரம்பு என்றால் X மணி நேரத்துக்குள் ஆகும் பணிகளை ஒப்படைக்கலாம் என்று பொருள் அல்ல என்றும் குவா எழுதுகிறார்; ஏனெனில் நம்பகத்தன்மை முக்கியமான சில வேலைகளுக்கு 98% அல்லது அதற்கு மேற்பட்ட வெற்றி விகிதங்கள் தேவை. இரட்டிப்பான வரம்பு தானியக்கத்தின் அளவை இரட்டிப்பாக்காது என்றும் அவர் சேர்க்கிறார். 2026 தொகுப்பில் 8 மணி நேரம் அல்லது அதற்கு மேல் என மதிப்பிடப்பட்ட 31 பணிகளில் 5 க்கு மட்டுமே மனித அடிப்படை நேரங்கள் உள்ளன; மீதிக்கு METR மதிப்பீடுகளைப் பயன்படுத்தியது. Claude Opus 4.5 இன் உண்மையான வரம்பு 3.5 மணி நேரமா 6.5 மணி நேரமா என்பதைத் தன்னால் கூற முடியாது என்று குவா எழுதுகிறார்.

ஏமாற்றுவதும் வாசிப்பை மாற்றுகிறது. GPT-5.6 Sol இன் வெளியீட்டுக்கு முந்தைய சோதனை குறித்த 2026 ஜூன் 26 சுருக்கத்தில், ஏமாற்று முயற்சிகள் தோல்வியாகக் கணக்கிடப்பட்டபோது ஏறக்குறைய 11.3 மணி நேரமும், வெற்றியாகக் கணக்கிடப்பட்டபோது 270 மணி நேரத்துக்கு மேலும், நீக்கப்பட்டபோது 71 மணி நேரமும் METR க்குக் கிடைத்தன; இம்மூன்றில் எதையும் நம்பகமான அளவீடாக அது கருதவில்லை என்று கூறியது. சமீபத்திய முகவர்கள் பற்றிய METR இன் பிற வாசிப்புகள் சுயாதீனக் குறியீட்டுச் சோதனைகளுடன் அருகருகே உள்ளன; சோதனைகள் பழையதாகிப் போவதன் பரந்த சிக்கல் அளவுகோல்கள் பற்றிய எங்கள் கட்டுரையில் இடம்பெறுகிறது.

பெர்க்கலி புள்ளியியலாளர்களின் வெளிச் சரிபார்ப்பு

2026 அக்டோபர் 8 அன்று, UC பெர்க்கலி புள்ளியியல் துறையின் ட்ரூ நுயென், வில்லியம் ஃபித்தியன் ஆகியோர், METR இன் 228 பணிகளிலும் 26 AI அமைப்புகளிலும் வரம்புகளை மீண்டும் கணக்கிடும் ஒரு முன்பதிப்பை வெளியிட்டனர். மனித நேரத்தின் மடக்கைக்கும் AI கடினத்துக்கும் இடையே ஒரு நேர்க்கோட்டு உறவை METR பொருத்துகிறது. அவர்கள் அதை ஊகிக்காத ஸ்ப்ளைன்களையும் உருப்படி-பதில் மாதிரிகளையும் பொருத்தினர்.

அவர்களின் பொருத்தப்பட்ட வளைவு, மனித நேரத்தின் 2 முதல் 30 நிமிடங்களுக்கு இடையே கிட்டத்தட்ட தட்டையாகவும், மற்ற இடங்களில் நேர்க்கோட்டுக்கு நெருக்கமாகவும் உள்ளது. எனவே வரம்பு 3 நிமிடத்திலிருந்து 30 நிமிடத்துக்குத் தாவுவது, 30 நிமிடத்திலிருந்து 5 மணி நேரத்துக்குத் தாவுவதை விட எளிது; இரண்டும் பத்து மடங்கு என்றாலும். தங்கள் பணியை ஆக்கபூர்வமான விமர்சனம் என்று அவர்கள் விவரித்து, குறுக்குச் சரிபார்ப்புச் சோதனைகளில் சிறந்த மதிப்பெண் பெறும் புள்ளி மதிப்பீடுகளை வழங்கி, குறிப்பாக நீண்ட பணிகள் சேர்க்கப்படும்போது வரம்புகளை நோயறிதல் வரைபடங்களுடன் படிக்க வேண்டும் என்று பரிந்துரைக்கின்றனர்.

2026 நவம்பர் 12 நிலவரப்படி, METR இன் நேர வரம்புப் பக்கம் இனி தீவிரமாகப் புதுப்பிக்கப்படுவதில்லை என்று கூறுகிறது; இது 2026 செப்டம்பர் 8 அன்று சேர்க்கப்பட்ட குறிப்பு. அது பராமரிக்கப்பட்டபோது சில மாதிரிகள் வெளியீட்டுக்குப் பல காலம் கழித்து அளக்கப்பட்டன, வேறு சில திறன் பற்றாக்குறையால் தவிர்க்கப்பட்டன என்றும் அந்தப் பக்கம் கூறுகிறது.

Share
Copied!

ஆதாரங்களும் மேலும் வாசிக்கவும்

  1. METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
  2. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
  3. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
  4. NeurIPS 2025 poster page for the time horizon paper
  5. METR: Time Horizon 1.1 (29 January 2026)
  6. METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
  7. METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
  8. METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
  9. METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
  10. METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
  11. Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
  12. Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
  13. UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
  14. Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
  15. METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)

இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.

#metr#time horizon#ai agents#ai evaluation#ai benchmarks#inspect#hcast#re-bench

பிடித்ததா? அடுத்ததைப் பெறுங்கள்.

ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.

இதே பிரிவில் மேலும்: செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்
Scale நிறுவனத்தின் SWE-Bench Pro பட்டியல் சிறந்த கோடிங் ஏஜெண்டை 61.5%இல் வைக்கிறது; சோதனைகளில் தேறும் பல திருத்தங்களைப் பராமரிப்பாளர்கள் நிராகரிக்கின்றனர்; ஏஜெண்டுகள் எவ்வளவு நேரத்தைச் சேமிக்கின்றன என்பதைத் தனது சமீபத்திய சோதனையால் காட்ட முடியவில்லை என்று METR கூறுகிறது
பென்ச்மார்க்குகள் ஏஜெண்டுகள் வலிமையானவை என்கின்றன. பராமரிப்பாளர்களும், ஒரு சீரற்ற சோதனையும், ஒரு குவியல் சம்பவ அறிக்கைகளும் படம் குறுகியது என்கின்றன. ஒவ்வொரு எண்ணும் உண்மையில் எதை அளக்கிறது என்பது இங்கே.
2026 செப்டம்பர் 10 அன்று வெளியான டீப்சீக்கின் V4.1-Flash, 552 பில்லியன் அளவுருக்கள் கொண்ட திறந்த எடை மாடல், ஒரு டோக்கனுக்கான நினைவகக் கேச்சை 890 பைட்டுகளாகக் குறைக்கிறது; அதன் முந்தைய மாடலின் அளவில் சுமார் கால் பங்கு
நீண்ட உரையாடலைப் பற்றிய ஒரு மாடலின் குறுகியகால நினைவகத்தைப் பராமரிப்பது செலவுமிக்கது. டீப்சீக்கின் செப்டம்பர் வெளியீடு அதை வடிவமைப்பிலேயே அழுத்துகிறது; மாடல் இன்னும் எங்கே பின்தங்குகிறது என்பதையும் அதன் சொந்த அறிக்கை சொல்கிறது. இதோ அந்தப் பொறிமுறை, 2024 முதலான காலவரிசை, வெளியாட்கள் சரிபார்த்தவை.
MMLU கேள்விகளில் மதிப்பிடப்பட்ட 6.49% இல் பிழைகள் உள்ளன, புதிய கணிதத் தேர்வு சில மாதிரிகளின் மதிப்பெண்ணை 8 புள்ளிகள் வரை குறைத்தது, LMArena வில் மெட்டா பதிவு செய்த Llama 4 மாதிரி அது வெளியிட்ட மாதிரி அல்ல
எந்தப் புதிய மாதிரி சிறந்ததாகத் தெரியும் என்பதைத் தரவரிசைப் பட்டியல்கள் தீர்மானிக்கின்றன; அவற்றின் விடைக்குறிப்புகள், தேர்வுக் கேள்விகள், பதிவு விதிகள் எல்லாம் தணிக்கை செய்யப்பட்டுள்ளன. தணிக்கைகள் கண்டறிந்தவை, அவற்றை நடத்தியவர்கள், அளவுகோல் உருவாக்குநர்கள் ஒப்புக்கொள்வது ஆகியவை இங்கே.
← அனைத்துக் கட்டுரைகள்