Skip to content
METR టైమ్ హొరైజన్ GPT-4ను 4 నిమిషాలుగా, క్లాడ్ మిథోస్ ప్రివ్యూను మనిషి చేసే 17.4 గంటల పనిగా లెక్కించింది, 16 గంటలకు మించిన రీడింగ్‌లు నమ్మదగినవి కావని ఆ లాభాపేక్షలేని సంస్థే చెబుతోంది
ఏఐ మరియు సాంకేతికత

METR టైమ్ హొరైజన్ GPT-4ను 4 నిమిషాలుగా, క్లాడ్ మిథోస్ ప్రివ్యూను మనిషి చేసే 17.4 గంటల పనిగా లెక్కించింది, 16 గంటలకు మించిన రీడింగ్‌లు నమ్మదగినవి కావని ఆ లాభాపేక్షలేని సంస్థే చెబుతోంది

చిత్రణ: tuput

తెలుగు

METR 50% టైమ్ హొరైజన్ అంటే, నైపుణ్యం ఉన్న మనుషులు ఎంత సేపు తీసుకుంటారనే దాని ఆధారంగా నిర్ణయించిన పని నిడివి, దాన్ని ఒక AI ఏజెంట్ సగం సార్లు పూర్తిచేస్తుంది. METR డేటా ఫైల్ GPT-4ను సుమారు 4 నిమిషాలుగా, క్లాడ్ మిథోస్ ప్రివ్యూ (తొలి)ను సుమారు 17.4 గంటలుగా చూపుతోంది, ప్రస్తుత పనులపై 16 గంటలకు మించిన రీడింగ్‌లు నమ్మదగినవి కావని METR చెబుతోంది.

· · 8 నిమిషాల పఠనం

AI ఏజెంట్లను పరీక్షించే బర్కిలీలోని లాభాపేక్షలేని సంస్థ METR, ఒక మోడల్ సగం సార్లు పూర్తిచేసే పని నిడివితో దాన్ని రేట్ చేస్తుంది, ఆ నిడివిని నైపుణ్యం ఉన్న మనుషులు ఎంత సేపు తీసుకుంటారనే దాని ఆధారంగా నిర్ణయిస్తుంది. METR ఓపెన్ డేటా ఫైల్ GPT-4 (2023 మార్చి)ను సుమారు 4 నిమిషాలుగా, 2026 ఏప్రిల్ విడుదల తేదీతో జాబితా చేసిన క్లాడ్ మిథోస్ ప్రివ్యూ (తొలి)ను సుమారు 17.4 గంటలుగా చూపుతోంది. METR సొంత పేజీ ఇలా చెబుతోంది: “Measurements above 16 hrs are unreliable with our current task suite.” అంటే, 16 గంటలకు మించిన కొలతలు ప్రస్తుత పనుల సముదాయంతో నమ్మదగినవి కావు.

50% టైమ్ హొరైజన్ ఏమి లెక్కిస్తుంది

ఈ కొలమానం “Measuring AI Ability to Complete Long Software Tasks” పేరుతో ఉన్న పత్రం నుంచి వచ్చింది. థామస్ క్వా నేతృత్వంలోని 26 మంది రచయితలు దాన్ని 2025 మార్చి 18న arXivలో పోస్ట్ చేశారు. ఇది NeurIPS 2025 పోస్టర్‌గా వచ్చింది, చివరిసారి 2026 జూలై 10న సవరించారు. 50% టైమ్ హొరైజన్‌ను METR ఇలా నిర్వచిస్తుంది: ఒక మానవ నిపుణుడు ఎంత సేపు తీసుకుంటాడనే దాన్ని బట్టి కొలిచిన పని వ్యవధి, దాని వద్ద ఏజెంట్ సగం సార్లు విజయం సాధిస్తుందని అంచనా.

స్టాప్‌వాచ్ మనుషుల వైపు నడుస్తుంది. నైపుణ్యం ఉన్న మనుషులు రెండు గంటల్లో పూర్తిచేసే పని, ఒక మోడల్‌కు పది నిమిషాలు పట్టినా, అసలు పూర్తిచేయలేకపోయినా, కొలమానంలో రెండు గంటల వద్దే ఉంటుంది. హొరైజన్ ఒక పని ఎంత కష్టమో చెబుతుందని, దానిపై AI గడిపే సమయం గురించి ఏమీ చెప్పదని METR FAQ పేర్కొంది. ఏజెంట్లు తాము పూర్తిచేసే పనుల్లో సాధారణంగా మనుషుల కంటే చాలా రెట్లు వేగంగా ఉంటాయని అదే FAQ జోడిస్తుంది.

50% హొరైజన్ అనేది ఒక ఫిట్ చేసిన వక్రరేఖ, ఆ నిడివి ఉన్న ప్రతి పనిలో మోడల్ సగం ఉత్తీర్ణత సాధిస్తుందని దాని అర్థం కాదు. FAQ ఉదాహరణగా GPT-5ను వాడింది. మానవ నిపుణులకు 90 నిమిషాల నుంచి 3 గంటలు పట్టిన పనుల్లో, GPT-5 ఏజెంట్ సుమారు మూడో వంతు పనుల్లో ప్రతిసారీ విజయం సాధించింది, సుమారు మూడో వంతు పనుల్లో ప్రతిసారీ విఫలమైంది, మిగిలిన వాటిలో ఏ ఫలితమైనా వచ్చింది.

అప్పుడు పరీక్షించిన మోడళ్లు మనుషులకు 4 నిమిషాల కంటే తక్కువ పట్టిన పనుల్లో దాదాపు ప్రతిసారీ విజయం సాధించాయని, సుమారు 4 గంటల కంటే ఎక్కువ పట్టిన పనుల్లో 10% కంటే తక్కువ సార్లు సాధించాయని METR తన 2025 మార్చి పోస్ట్‌లో తెలిపింది.

కొలమానాన్ని ఎలా నిర్మించారు

అసలు సముదాయంలో మూడు మూలాల నుంచి 170 పనులు ఉన్నాయి. తొంభై ఏడు HCAST నుంచి వచ్చాయి, ఇది మెషిన్ లెర్నింగ్, సైబర్ సెక్యూరిటీ, సాఫ్ట్‌వేర్ ఇంజినీరింగ్, తర్కానికి చెందిన 189 పనుల బెంచ్‌మార్క్. ఏడు RE-Bench పరిసరాలు, ఒక్కొక్కటి ఎనిమిది గంటల నిడివి. RE-Bench రచయితలు 61 మంది మానవ నిపుణుల 71 ఎనిమిది గంటల ప్రయత్నాలను సేకరించారు, రెండు గంటల బడ్జెట్‌లో ఉత్తమ AI ఏజెంట్లు నిపుణుల కంటే 4 రెట్లు ఎక్కువ స్కోర్ చేశాయని, ఎనిమిది గంటల వద్ద మనుషులు స్వల్పంగా ముందున్నారని కనుగొన్నారు. చివరి 66, METR ఈ పత్రం కోసం రాసిన స్వల్ప పనులు, ఒక్కొక్కటి 1 నుంచి 30 సెకన్లు.

పత్రంలోని ఉదాహరణలు పరిధిని చూపుతాయి. అతి చిన్నది బహుళైచ్ఛిక ప్రశ్న, “Which file is a shell script?” (ఏ ఫైల్ షెల్ స్క్రిప్ట్?), సుమారు 3 సెకన్లు. 56 నిమిషాల పని, నమూనా ఫైళ్ల నుంచి నియమాలను ఊహించి JSONను ఒక ఫార్మాట్ నుంచి మరొకదానికి మార్చే పైథాన్ స్క్రిప్ట్ అడుగుతుంది. ఎనిమిది గంటల పని, 30 రెట్ల లాభం లక్ష్యంగా కస్టమ్ CUDA కోడ్‌తో ఒక ట్రేడ్-బ్యాక్‌టెస్టింగ్ సాధనాన్ని వేగవంతం చేయమని ఏజెంట్‌ను అడుగుతుంది.

ప్రతి పనికి స్కోరింగ్ ఆటోమేటిక్‌గా జరుగుతుంది. నిడివుల కోసం METR మనుషులను నియమించింది: సాఫ్ట్‌వేర్ ఇంజినీరింగ్, మెషిన్ లెర్నింగ్ లేదా సైబర్ సెక్యూరిటీలో సగటున సుమారు 5 ఏళ్ల సంబంధిత అనుభవం ఉన్న నైపుణ్యం గల నిపుణుల నుంచి మొత్తం 2,529 గంటల 800కు పైగా బేస్‌లైన్‌లు. ఒక పని నిడివి విజయవంతమైన మానవ సమయాల జ్యామితీయ సగటు. ప్రతి మోడల్‌కు, పని నిడివికి వ్యతిరేకంగా విజయ సంభావ్యత వక్రరేఖను METR ఫిట్ చేసి, అది 50% దాటే చోటును చదువుతుంది.

2026 జనవరి 29న METR టైమ్ హొరైజన్ 1.1ను విడుదల చేసింది. సముదాయం 170 నుంచి 228 పనులకు పెరిగింది, 73 చేర్చారు, అన్నీ HCAST నుంచి, 15 తొలగించారు. 8 గంటలు లేదా అంతకంటే ఎక్కువ అని అంచనా వేసిన పనులు 14 నుంచి 31కి పెరిగాయి. METR తన మూల్యాంకన కోడ్‌ను వివారియా అనే అంతర్గత సాధనం నుంచి, UK AI సెక్యూరిటీ ఇన్‌స్టిట్యూట్ అభివృద్ధి చేసిన ఓపెన్-సోర్స్ ఫ్రేమ్‌వర్క్ ఇన్‌స్పెక్ట్‌కు మార్చింది (దాని డాక్యుమెంటేషన్ ఇప్పుడు మెరిడియన్ ల్యాబ్స్‌ను సహ-డెవలపర్‌గా పేర్కొంటోంది), అది 200కు పైగా సిద్ధంగా ఉన్న మూల్యాంకనాలతో వస్తుంది. ఆ సంస్థ సొంత ఏజెంట్ పరీక్ష దాని 2026 జూలై ఘటన నివేదిక అంశం.

METR ఐదు మోడళ్లపై రెండు వ్యవస్థలను పోల్చింది. అంచనాలు స్వల్పంగా తేడా పడ్డాయి, GPT-4o, o3 వివారియా కింద గణనీయంగా ఎక్కువ స్కోర్ చేశాయి, దాన్ని METR మోడల్ చుట్టూ చుట్టిన ప్రాంప్ట్‌లు, సాధనాల పట్ల సున్నితత్వంగా చదివింది.

డేటా ఫైల్ ఏమి జాబితా చేస్తోంది

METR టైమ్-హొరైజన్స్ పేజీ తన ముడి డేటాకు లింక్ ఇస్తుంది. 2026 నవంబర్ 12న చదివిన ఫైల్ ఈ 50% హొరైజన్‌లను, ఫైల్ ఇచ్చిన విడుదల తేదీలతో జాబితా చేస్తోంది. చివరి నిలువు వరుస, METR తన గణాంక రీసాంప్లింగ్ నుంచి ఇచ్చిన సొంత అంతరం.

మోడల్జాబితా చేసిన విడుదల తేదీ50% హొరైజన్METR అంతరం
GPT-414 మార్చి 20234 నిమిషాలు1.9 నుంచి 8 నిమిషాలు
o15 డిసెంబర్ 202439 నిమిషాలు21 నుంచి 65 నిమిషాలు
Claude 3.7 Sonnet24 ఫిబ్రవరి 202560 నిమిషాలు33 నుంచి 104 నిమిషాలు
o316 ఏప్రిల్ 2025120 నిమిషాలు75 నుంచి 191 నిమిషాలు
GPT-57 ఆగస్టు 20253.4 గంటలు1.9 నుంచి 6.8 గంటలు
Claude Opus 4.524 నవంబర్ 20254.9 గంటలు2.7 నుంచి 10.4 గంటలు
Claude Opus 4.65 ఫిబ్రవరి 202612.0 గంటలు5.3 నుంచి 60.6 గంటలు
Claude Mythos Preview (early)7 ఏప్రిల్ 202617.4 గంటలు8.5 నుంచి 55.1 గంటలు

పైకి వెళ్లేకొద్దీ అంతరాలు విస్తరిస్తాయి. క్లాడ్ ఓపస్ 4.6 12.0 గంటలకు 5.3 నుంచి 60.6 గంటల పరిధి ఉంది. GPT-2 కోసం పత్రం తొలి అంచనా సుమారు 2 సెకన్లు, METR ఫైల్ ఇప్పుడు సుమారు 3గా జాబితా చేస్తోంది.

METR తన సముదాయాన్ని సవరించిన కొద్దీ ఒకే మోడల్ సంఖ్య కూడా మారింది. క్లాడ్ ఓపస్ 4.5 అసలు పద్ధతిలో 289 నిమిషాలుగా, 2026 జనవరి విడుదలలో 320 నిమిషాలుగా, ఇప్పటి ఫైల్‌లో 293 నిమిషాలుగా జాబితా అయింది. 2026 మార్చి 3న METR ఒక రెగ్యులరైజేషన్ పొరపాటును సరిదిద్దిందని పేజీ అప్‌డేట్ లాగ్ నమోదు చేస్తోంది. GPT-5 కూడా ఇలాంటి దారిలోనే 138 నిమిషాల నుంచి 214కు, తర్వాత 203కు వెళ్లింది. అదే పేజీలోని FAQ ఇప్పటికీ GPT-5ను “around 2 hours and 17 minutes” (సుమారు 2 గంటల 17 నిమిషాలు) అని ఉటంకిస్తోంది, అది తొలి సంఖ్యకు దగ్గరగా ఉంది.

రేఖ ఎంత వేగంగా పైకి ఎక్కింది

2025 పత్రం 2019 నుంచి 2025 తొలి నెలల వరకు హొరైజన్‌ల గుండా, లాగరిథమిక్ స్కేల్‌పై ఒక సరళ రేఖను ఫిట్ చేసింది. సుమారు ప్రతి ఏడు నెలలకు ఒకసారి రెట్టింపు అని అది కనుగొంది, అంటే 207 రోజులు, 95% అంతరం 166 నుంచి 240 రోజులు, 2024 నుంచి ఈ ధోరణి వేగవంతమై ఉండవచ్చని అది చెప్పింది. 167 పని గంటల ఒక నెల హొరైజన్ వరకు ఒక సాధారణ ఎక్స్‌ట్రాపోలేషన్‌ను కూడా పత్రం చేసింది, అది 2028 మధ్య నుంచి 2031 మధ్య మధ్య పడింది, నిజమైన అంచనాల్లో లోపం పెద్దదిగా ఉంటుందని దాని రచయితలు చెబుతున్నారు.

2026 జనవరిలో పెద్ద సముదాయంతో, 2023 నుంచి వచ్చిన మోడళ్లకు రెట్టింపు సమయం 131 రోజులని METR నివేదించింది, అసలు సముదాయంలో అది 165 రోజులు. మొత్తం కాలంలో, కొత్త అంచనాలను పాత మోడళ్ల పాత అంచనాలతో కలిపినప్పుడు, ఆ సంఖ్య 196 రోజుల వద్దే ఉంది. 2024 నుంచి వచ్చిన మోడళ్లకు అది 109 రోజుల నుంచి 89కి తగ్గింది. కొత్త పనులు బహుశా కొద్దిగా భిన్నమైన కఠినత్వ మిశ్రమం నుంచి వస్తాయని, సముదాయంలో ఏ పనులు ఉన్నాయనే దానికి ధోరణి కొంత సున్నితంగా ఉంటుందని METR చెబుతోంది.

డేటా ఫైల్ ఇప్పుడు 2023 నుంచి 129 రోజులు (అంతరం 104 నుంచి 158 రోజులు), మొత్తంగా 188 రోజులు ఇస్తోంది, 16 గంటలకు మించిన అంచనాలను అది వదిలేస్తుందని పేర్కొంది. దీర్ఘకాల ధోరణి వాలు ఆధారపడదగిన సంఖ్య అని, ఏ ఒక్క మోడల్ ఖచ్చితమైన హొరైజన్ కాదని క్వా 2026 జనవరి METR నోట్‌లో రాశారు. నోట్లు మెరుగుపెట్టనివని, సంస్థ అభిప్రాయాలను తప్పనిసరిగా ప్రతిబింబించవని METR ప్రామాణిక నిరాకరణ ఆ నోట్‌లో ఉంది.

2025 జూలైలో క్వా, విన్సెంట్ చెంగ్ ఈ పద్ధతిని ఇప్పటికే ఉన్న తొమ్మిది బెంచ్‌మార్క్‌లకు వర్తింపజేశారు. GPQA, గణిత పోటీలు, LiveCodeBench వంటి సాఫ్ట్‌వేర్, తర్క పరీక్షలకు హొరైజన్‌లు 50 నుంచి 200 నిమిషాలు లేదా అంతకంటే ఎక్కువ ఉన్నాయి. విజువల్ కంప్యూటర్ వినియోగం (OSWorld, WebArena)కు హొరైజన్‌లు 40 నుంచి 100 రెట్లు తక్కువ కానీ ఇదే రేటుతో పెరుగుతున్నాయి. టెస్లా FSD డేటాతో కొలిచిన సెల్ఫ్-డ్రైవింగ్ సంవత్సరానికి సుమారు 0.6 రెట్టింపులతో మరింత నెమ్మదిగా మెరుగుపడింది. ఏ ఒక్క బెంచ్‌మార్క్ ఫలితాన్ని అయినా METR చాలా అస్థిరమైనదిగా పిలుస్తుంది.

ఆ సంఖ్య అర్థం కాదని METR ఏమి చెబుతోంది

అత్యంత సాధారణ తప్పు అర్థం చెప్పుకోవడాన్ని లక్ష్యంగా చేసుకున్న శీర్షిక క్వా నోట్‌లో ఉంది: “Time horizon is not the length of time AIs can work independently” (టైమ్ హొరైజన్ అంటే AIలు స్వతంత్రంగా పనిచేయగల సమయం కాదు). ఒక మోడల్ 50% విజయ రేటుతో భర్తీ చేయగల వరుస మానవ శ్రమ మొత్తాన్ని అది వర్ణిస్తుంది.

8 గంటల హొరైజన్ అంటే AI అన్ని ఉద్యోగాలను ఆటోమేట్ చేయగలదా అని అడిగితే METR FAQ “No” అని సమాధానం ఇచ్చి, మూడు కారణాలు చెబుతుంది. నిడివులను నిర్ణయించే మనుషులు ప్రాజెక్టులో అనుభవజ్ఞుడి కంటే సందర్భం తక్కువ ఉన్న కొత్తగా చేరినవారికి దగ్గరగా ఉంటారు. పనులు ఎక్కువగా సాఫ్ట్‌వేర్, మెషిన్ లెర్నింగ్, సైబర్ సెక్యూరిటీకి చెందినవి. చాలా ఉద్యోగాల్లో ఇతర వ్యక్తులు, ఏ ప్రోగ్రామ్ కూడా స్కోర్ చేయలేని లక్ష్యాలు కూడా ఉంటాయి. బేస్‌లైన్ చేసిన వారికి అదే పని చేసే నిపుణుల కంటే తక్కువ సందర్భం ఉండటం వల్ల, తన మానవ సమయాలు ఒక నిపుణుడు తీసుకునే సమయాన్ని బహుశా ఎక్కువగా అంచనా వేస్తాయని FAQ జోడిస్తుంది.

X గంటల 50% హొరైజన్ అంటే X గంటల లోపు పనులను అప్పగించవచ్చని కాదని కూడా క్వా రాశారు, ఎందుకంటే విశ్వసనీయత కీలకమైన కొన్ని పనులకు 98% లేదా అంతకంటే ఎక్కువ విజయ రేట్లు కావాలి. హొరైజన్ రెట్టింపైతే ఆటోమేషన్ స్థాయి రెట్టింపు కాదని ఆయన జోడించారు. 2026 సముదాయంలో 8 గంటలు లేదా అంతకంటే ఎక్కువ అని అంచనా వేసిన 31 పనుల్లో 5 పనులకు మాత్రమే మానవ బేస్‌లైన్ సమయాలు ఉన్నాయి, మిగిలిన వాటికి METR అంచనాలను వాడింది. క్లాడ్ ఓపస్ 4.5 నిజమైన హొరైజన్ 3.5 గంటలా, 6.5 గంటలా అని తాను చెప్పలేనని క్వా రాశారు.

మోసం కూడా రీడింగ్‌ను మారుస్తుంది. GPT-5.6 సోల్ విడుదలకు ముందు పరీక్షపై తన 2026 జూన్ 26 సారాంశంలో, మోసం ప్రయత్నాలను వైఫల్యాలుగా లెక్కిస్తే సుమారు 11.3 గంటలు, విజయాలుగా లెక్కిస్తే 270 గంటలకు పైగా, వదిలేస్తే 71 గంటలు METRకు వచ్చాయి, ఆ మూడింటిలో ఏదీ నమ్మదగిన కొలతగా తాను పరిగణించలేదని అది చెప్పింది. ఇటీవలి ఏజెంట్ల ఇతర METR రీడింగ్‌లు స్వతంత్ర కోడింగ్ పరీక్షలతో కలిసి ఉంటాయి, పరీక్షలు అరిగిపోయే విస్తృత సమస్యను బెంచ్‌మార్క్‌లపై మా వ్యాసం చర్చిస్తుంది.

బర్కిలీ గణాంక నిపుణుల బయటి పరిశీలన

2026 అక్టోబర్ 8న UC బర్కిలీ గణాంక విభాగానికి చెందిన డ్రూ న్గుయెన్, విలియం ఫిథియన్ METR 228 పనులు, 26 AI వ్యవస్థలపై హొరైజన్‌లను తిరిగి లెక్కించే ప్రిప్రింట్‌ను పోస్ట్ చేశారు. మానవ సమయం లాగరిథమ్‌కు, AI కఠినత్వానికి మధ్య సరళ సంబంధాన్ని METR ఫిట్ చేస్తుంది. దాన్ని ఊహించని స్ప్లైన్‌లు, ఐటెమ్-రెస్పాన్స్ మోడళ్లను వారు ఫిట్ చేశారు.

వారి ఫిట్ చేసిన వక్రరేఖ మానవ సమయం 2 నుంచి 30 నిమిషాల మధ్య దాదాపు సమతలంగా ఉంది, ఇతర చోట్ల సరళానికి దగ్గరగా ఉంది. అందువల్ల హొరైజన్ 3 నిమిషాల నుంచి 30 నిమిషాలకు జంప్ చేయడం, 30 నిమిషాల నుంచి 5 గంటలకు జంప్ చేయడం కంటే సులభం, రెండూ పది రెట్లే అయినా. తమ పనిని వారు నిర్మాణాత్మక విమర్శగా వర్ణిస్తారు, క్రాస్-వాలిడేటెడ్ పరీక్షల్లో మెరుగ్గా స్కోర్ చేసే పాయింట్ అంచనాలను ఇస్తారు, ముఖ్యంగా ఎక్కువ నిడివి పనులు చేరుతున్న కొద్దీ హొరైజన్‌లను డయాగ్నస్టిక్ ప్లాట్లతో చదవాలని సూచిస్తారు.

2026 నవంబర్ 12 నాటికి, METR టైమ్-హొరైజన్స్ పేజీ ఇకపై చురుగ్గా అప్‌డేట్ కావడం లేదని చెబుతోంది, ఆ గమనిక 2026 సెప్టెంబర్ 8న చేర్చారు. పేజీని నిర్వహించిన సమయంలో కొన్ని మోడళ్లను విడుదలైన చాలా కాలం తర్వాత కొలిచారని, మరికొన్నింటిని సామర్థ్యం లేక వదిలేశారని పేజీ చెబుతోంది.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
  2. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
  3. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
  4. NeurIPS 2025 poster page for the time horizon paper
  5. METR: Time Horizon 1.1 (29 January 2026)
  6. METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
  7. METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
  8. METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
  9. METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
  10. METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
  11. Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
  12. Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
  13. UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
  14. Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
  15. METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#metr#time horizon#ai agents#ai evaluation#ai benchmarks#inspect#hcast#re-bench

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
స్కేల్ SWE-Bench Pro బోర్డు ఉత్తమ కోడింగ్ ఏజెంట్‌ను 61.5% వద్ద ఉంచింది, పరీక్షలు పాస్ అయ్యే చాలా ఫిక్స్‌లను మెయింటెయినర్లు తిరస్కరిస్తున్నారు, ఏజెంట్లు ఎంత సమయం ఆదా చేస్తాయో తన తాజా ట్రయల్ చూపలేదని METR అంటోంది
ఏజెంట్లు బలంగా ఉన్నాయని బెంచ్‌మార్క్‌లు చెబుతాయి. చిత్రం అంత విశాలంగా లేదని మెయింటెయినర్లు, ఒక యాదృచ్ఛిక ట్రయల్, ఘటన నివేదికల రాశి చెబుతాయి. ప్రతి సంఖ్య నిజంగా ఏం కొలుస్తుందో ఇక్కడ ఉంది.
2026 సెప్టెంబర్ 10న విడుదలైన 552 బిలియన్ పారామీటర్ల ఓపెన్-వెయిట్ మోడల్ డీప్‌సీక్ V4.1-Flash, ప్రతి టోకెన్‌కు మెమరీ క్యాష్‌ను 890 బైట్లకు తగ్గించింది, ఇది దాని ముందటి మోడల్ క్యాష్‌లో సుమారు నాలుగో వంతు
సుదీర్ఘ సంభాషణ గురించి మోడల్‌కు ఉండే స్వల్పకాలిక జ్ఞాపకాన్ని నిలుపుకోవడం ఖరీదైనది. డీప్‌సీక్ సెప్టెంబర్ విడుదల దాన్ని డిజైన్ ద్వారానే కుదిస్తుంది, మోడల్ ఇంకా ఎక్కడ వెనుకబడి ఉందో దాని సొంత నివేదికే చెబుతోంది. ఇక్కడ యంత్రాంగం, 2024 నుంచి కాలక్రమం, బయటివారు ఏమి తనిఖీ చేశారో ఉన్నాయి.
MMLU ప్రశ్నల్లో అంచనా 6.49%లో లోపాలు ఉన్నాయి, కొత్త గణిత పరీక్ష కొన్ని మోడళ్ల స్కోర్లను 8 పాయింట్ల వరకు తగ్గించింది, LMArenaలో Meta ప్రవేశపెట్టిన Llama 4 మోడల్ అది విడుదల చేసినది కాదు
కొత్త మోడల్స్‌లో ఏది ఉత్తమంగా కనిపిస్తుందో లీడర్‌బోర్డులు నిర్ణయిస్తాయి, వాటి జవాబు కీలు, పరీక్ష ప్రశ్నలు, ప్రవేశ నియమాలు అన్నీ ఆడిట్ అయ్యాయి. ఆడిట్లు ఏం కనుగొన్నాయి, వాటిని ఎవరు నడిపారు, బెంచ్‌మార్క్ నిర్మాతలు ఏం ఒప్పుకుంటున్నారు.
← అన్ని వ్యాసాలు