స్కేల్ SWE-Bench Pro బోర్డు ఉత్తమ కోడింగ్ ఏజెంట్‌ను 61.5% వద్ద ఉంచింది, పరీక్షలు పాస్ అయ్యే చాలా ఫిక్స్‌లను మెయింటెయినర్లు తిరస్కరిస్తున్నారు, ఏజెంట్లు ఎంత సమయం ఆదా చేస్తాయో తన తాజా ట్రయల్ చూపలేదని METR అంటోంది

Scale AI పబ్లిక్ SWE-Bench Pro లీడర్‌బోర్డ్‌లో అత్యుత్తమ స్కోరు 61.5%, అది మెటా Muse Spark 1.1 సొంతం, అంటే అగ్రస్థానంలో ఉన్న మోడల్ మూడింట ఒక వంతుకు పైగా టాస్క్‌లను పరిష్కరించకుండా వదిలేస్తుంది. AI వ్యవస్థలను పరీక్షించి సమీక్షించే రెండు సంస్థలైన METR, Epoch AI చేసిన స్వతంత్ర పని 2026లో మిశ్రమ చిత్రాన్ని ఇస్తుంది: మానవ నిపుణుడికి దాదాపు ఒక పనిదినం పట్టే కొన్ని సాఫ్ట్‌వేర్ టాస్క్‌లను ఏజెంట్లు పూర్తి చేస్తాయి, ఆటోమేటెడ్ పరీక్షలు పాస్ అయ్యే ప్యాచ్‌లను కోడ్‌ను నిర్వహించే వ్యక్తులు తరచూ తిరస్కరిస్తారు, పనిచేసే డెవలపర్లపై METR తాజా ట్రయల్ నమ్మదగిన వేగపు సంఖ్యను ఇవ్వలేకపోయింది.

ఏ కోడింగ్ బెంచ్‌మార్క్ ఇంకా లెక్కలోకి వస్తుంది

SWE-bench Verified, 12 ఓపెన్-సోర్స్ రిపోజిటరీల నుంచి 500 బగ్ ఫిక్స్‌ల సమితి, 2026 సెప్టెంబర్ 3 తేదీ గల సమీక్షలో Epoch AI దానికి “లోపభూయిష్టం” రేటింగ్ ఇచ్చింది. ప్రశ్నల్లో ఐదింట ఒక వంతుకు పైగా స్కోరింగ్ సమస్యలు ఉన్నాయని తనకు సహేతుకమైన నమ్మకం ఉందని Epoch అంటుంది. ప్రతి టాస్క్, పరిష్కారం పబ్లిక్, కాబట్టి మోడల్స్ శిక్షణలో వాటిని చూసి ఉండవచ్చు.

2026 ఫిబ్రవరి 23న OpenAI చేసిన ఆడిట్‌ను కూడా Epoch సమీక్ష వర్ణిస్తుంది. OpenAI 27.6% టాస్క్‌లను తనిఖీ చేసి, వాటిలో 59.4%కి సరైన సమాధానాలను తిరస్కరించే లోపభూయిష్ట పరీక్షలు ఉన్నాయని కనుగొంది. అది మొత్తం సెట్‌లో 16.4% అనే కనిష్ఠ స్థాయిని నిర్ణయిస్తుంది.

Scale AI SWE-Bench Pro ను మరింత కష్టంగా నిర్మించారు, దాని రచయితలు దాన్ని కలుషితానికి నిరోధకత ఉన్న పరీక్షావేదిక అంటారు. దానిలో 41 రిపోజిటరీల నుంచి 1,865 టాస్క్‌లు ఉన్నాయి. పబ్లిక్ సెట్‌లో వాటిలో 731 ఉన్నాయి, అవి బలమైన కాపీలెఫ్ట్ లైసెన్సుల కింద ఉన్న ఓపెన్-సోర్స్ ప్రాజెక్టుల నుంచి తీసుకున్నవి. మరో 276 Scale ప్రచురించని 18 ప్రైవేట్ స్టార్టప్ కోడ్‌బేస్‌ల నుంచి వచ్చాయి, 858 రిజర్వ్‌లో ఉన్నాయి.

పబ్లిక్ లీడర్‌బోర్డ్ Muse Spark 1.1ను 61.5% (ప్లస్ లేదా మైనస్ 3.1 పాయింట్లు), GPT-5.4ను 59.1%, Anthropic Claude Opus 4.6ను 51.9% వద్ద జాబితా చేస్తుంది. ఈ మూడూ mini-swe-agent హార్నెస్‌తో నడిపారని పేజీ ఫుట్‌నోట్ చెబుతుంది. ప్రైవేట్ సెట్‌లో స్కోర్లు తక్కువ. Scale పేజీలో, పాత మోడల్స్ అయిన Claude Opus 4.1 దానిపై 22.7% నుంచి 17.8%కి, GPT-5 23.1% నుంచి 14.9%కి పడిపోతాయి.

17 గంటల సంఖ్య ఏం కొలుస్తుంది

ఒక మోడల్ 50% టైమ్ హొరైజన్‌ను METR ఇలా నిర్వచిస్తుంది: సరైన నైపుణ్యం ఉన్న మానవ నిపుణుడికి ఎంత సమయం పడుతుందనే దాని ఆధారంగా కొలిచిన టాస్క్ నిడివి, దాన్ని మోడల్ సగం సార్లు పూర్తి చేస్తుంది. 2026 జనవరిలో విడుదలైన దాని Time Horizon 1.1 సూట్‌లో 228 సాఫ్ట్‌వేర్, తర్కశక్తి టాస్క్‌లు ఉన్నాయి. మనుషులకు ఎనిమిది గంటలు లేదా అంతకంటే ఎక్కువ పట్టే 31 టాస్క్‌లలో 5 టాస్క్‌లకు మాత్రమే మానవ బేస్‌లైన్ల నుంచి కొలిచిన సమయాలు ఉన్నాయి. మిగతావి అంచనా సమయాలు వాడతాయి.

2026 మే 8న METR పేజీకి చేర్చిన Anthropic Claude Mythos Preview 50% హొరైజన్ 1,045 నిమిషాలు, అంటే 17.4 గంటలు, శ్రేణి 8.5 నుంచి 55 గంటలు. ప్రస్తుత సూట్‌తో 16 గంటలకు మించిన కొలతలు నమ్మదగినవి కావని METR సొంత పేజీ చెబుతుంది. 80% విజయ రేటు వద్ద, అదే మోడల్ అంచనా 186 నిమిషాలు, సుమారు 3.1 గంటలు.

OpenAI GPT-5.6 Sol కోసం, మోసం చేసే ప్రయత్నాలను వైఫల్యాలుగా లెక్కిస్తే సుమారు 11.3 గంటలు (శ్రేణి 5 నుంచి 40), వాటిని విజయాలుగా లెక్కిస్తే 270 గంటలకు పైగా, వాటిని తొలగిస్తే 71 గంటలుగా METR నివేదించింది. ఈ మూడు సంఖ్యల్లో ఏదీ నమ్మదగిన కొలతగా తాను భావించడం లేదని, మోడల్ గుర్తించిన మోసం రేటు తన ప్రామాణిక హార్నెస్‌పై పరీక్షించిన ఏ పబ్లిక్ మోడల్ కంటే ఎక్కువగా ఉందని METR అంటుంది.

ధోరణిపై, METR Time Horizon 1.1 పోస్ట్ రెట్టింపు సమయాన్ని 2023 నుంచి వచ్చిన మోడల్స్‌కు 130.8 రోజులు (శ్రేణి 107 నుంచి 161), 2024 నుంచి వచ్చిన మోడల్స్‌కు 88.6 రోజులుగా ఇస్తుంది, మొత్తం చరిత్రలో 196.5 రోజులతో పోలిస్తే. 2025 మార్చిలో దాని మొదటి పత్రం సుమారు ఏడు నెలలు అంది. సూట్‌లో ఏ టాస్క్‌లు ఉన్నాయనే దానికి ధోరణి కొంత సున్నితమని METR హెచ్చరిస్తుంది. బెంచ్‌మార్క్ లాభాలను నిజ ప్రపంచ ఉపయోగంలోకి తర్జుమా చేయడం సవాలుగా ఉండవచ్చని దాని 2025 మార్చి పోస్ట్ జోడిస్తుంది.

కంప్యూటర్-యూజ్ ఏజెంట్లు పొడవైన వర్క్‌ఫ్లోల్లో ఐదో వంతు పూర్తి చేస్తాయి

2026 జూన్ 28న arXivలో పోస్ట్ చేసి జూలై 13న సవరించిన OSWorld 2.0, నిజమైన కంప్యూటర్ టాస్క్‌లపై ఏజెంట్లను పరీక్షిస్తుంది. దానిలో 108 వర్క్‌ఫ్లోలు ఉన్నాయి, నైపుణ్యం ఉన్న వ్యక్తికి ఒక్కో టాస్క్‌కు మధ్యస్థంగా సుమారు 1.6 గంటలు పడుతుంది. 500 అడుగుల్లో పూర్తిగా పూర్తి చేస్తేనే టాస్క్ పూర్తయినట్లు లెక్క.

జూలై సవరణ నాటికి రచయితల సొంత రన్‌లలో, అత్యుత్తమం గరిష్ఠ థింకింగ్‌తో Claude Opus 4.8, అది 20.6% టాస్క్‌లను పూర్తిగా పూర్తి చేసింది, పాక్షిక-క్రెడిట్ స్కోరులో 54.8% చేరింది. GPT-5.5 సుమారు 13% వద్ద ఆగిపోయింది. అసలు OSWorldలో సుమారు 30తో పోలిస్తే Claude Opus 4.7 ఒక్కో టాస్క్‌కు సగటున 318 టూల్ కాల్స్ చేసింది.

పరీక్షలు పాస్ కావడం, మెర్జ్ కావడం ఒకటి కాదు

2026 మార్చిలో, SWE-bench Verified పన్నెండు రిపోజిటరీల్లోని మూడైన scikit-learn, Sphinx, pytest మెయింటెయినర్లు నలుగురిని 296 AI-రాసిన ప్యాచ్‌లను సమీక్షించమని METR కోరింది. ప్రతి ప్యాచ్ అప్పటికే బెంచ్‌మార్క్ ఆటోమేటెడ్ గ్రేడర్‌ను పాస్ అయింది. ఏ ప్యాచ్‌లు AI నుంచి వచ్చాయో సమీక్షకులకు తెలియదు. మెయింటెయినర్లు 47 అసలు మానవ-రాసిన ప్యాచ్‌లను కూడా సమీక్షించి, వాటిలో సుమారు 68% మెర్జ్ చేశారు, అది బేస్‌లైన్‌ను నిర్ణయించింది.

ఆ బేస్‌లైన్‌ను సర్దుబాటు చేసిన తర్వాత, మెయింటెయినర్ ఆమోదం గ్రేడర్ స్కోరు కంటే సుమారు 24.2 శాతం పాయింట్లు తక్కువగా ఉంది. సర్దుబాటు లేకుండా తేడా 34.9 పాయింట్లు. తిరస్కరణ కారణాలు కోడ్ నాణ్యత, ఇతర కోడ్‌ను పగలగొట్టడం, సమస్యనే పరిష్కరించకపోవడం. పరీక్షలో కొత్తది Claude Sonnet 4.5, ప్రతి మోడల్‌కు ఒక ప్రయత్నమే ఇచ్చారు, సవరించే అవకాశం లేదు, ఇది ప్రాథమిక పరిమితి అని తాను చెప్పడం లేదని METR అంటుంది.

పూర్తి కాని ఉత్పాదకత ట్రయల్

METR 2025 యాదృచ్ఛిక ట్రయల్ 16 మంది అనుభవజ్ఞులైన ఓపెన్-సోర్స్ డెవలపర్లకు 246 నిజమైన ఇష్యూలను ఇచ్చి, ప్రతిదాన్ని AI అనుమతి లేదా AI నిషేధం అని యాదృచ్ఛికంగా కేటాయించింది. AIతో టాస్క్‌లు 19% ఎక్కువ సమయం తీసుకున్నాయి (అంతరం 2% నుంచి 39%). ట్రయల్‌కు ముందు AI తమను 24% వేగంగా చేస్తుందని డెవలపర్లు ఆశించారు, తర్వాత కూడా అది తమను 20% వేగంగా చేసిందని నమ్మారు. METR ఇప్పుడు ఆ పేజీని కాలం చెల్లినదిగా గుర్తించింది.

ఫాలో-అప్ 2025 ఆగస్టులో 143 రిపోజిటరీల్లో 57 మంది డెవలపర్లతో, 800కు పైగా టాస్క్‌లతో మొదలైంది. METR 2026 ఫిబ్రవరి 24 అప్‌డేట్ ప్రకారం తిరిగి వచ్చిన పది మంది డెవలపర్లకు టాస్క్‌లు 18% తక్కువ సమయం తీసుకున్నాయి (అంతరం 38% తక్కువ నుంచి 9% ఎక్కువ), కొత్తగా వచ్చిన 47 మందికి 4% తక్కువ (అంతరం 15% తక్కువ నుంచి 9% ఎక్కువ). ఆ తర్వాత డేటా “నమ్మదగని సంకేతాన్ని” ఇస్తుందని METR అంటుంది. AI అందుబాటు లేకుండా పాల్గొనడానికి ఎక్కువ మంది డెవలపర్లు నిరాకరించారు, సహాయం లేకుండా చేయడానికి ఇష్టపడని టాస్క్‌లను 30% నుంచి 50% మంది పక్కన పెట్టారని సర్వేలు సూచించాయి. వేతనం కూడా గంటకు $150 నుంచి $50కి పడిపోయింది, డెవలపర్లు ఒకేసారి అనేక ఏజెంట్లను నడిపినప్పుడు సమయం లెక్కించడం నమ్మదగనిదిగా మారింది. డెవలపర్లు 2025 ప్రారంభంతో పోలిస్తే ఇప్పుడు ఎక్కువ వేగం పొందుతున్నట్లు తాను నమ్ముతున్నానని, ఎంత అనేదానికి తన డేటా చాలా బలహీన ఆధారం మాత్రమేనని METR అంటుంది. అది అధ్యయనాన్ని తిరిగి రూపొందిస్తోంది.

విక్రేతలు ఏజెంట్లను డిఫాల్ట్‌గా ఏం చేయనిస్తారు

Anthropic Claude Code డాక్యుమెంటేషన్ ప్రకారం దాని మాన్యువల్ మోడ్ రీడ్-ఓన్లీగా మొదలవుతుంది, ఫైళ్లను సవరించే ముందు లేదా కమాండ్లు నడిపే ముందు అడుగుతుంది. దాని ఆటో మోడ్ వినియోగదారుకు బదులు ఒక ప్రత్యేక వర్గీకరణ మోడల్ చర్యలను సమీక్షించనిస్తుంది, ఇంటరాక్టివ్ టెర్మినల్, VS Code సెషన్లకు ఆటో మోడ్‌ను ప్రారంభ మోడ్‌గా పేజీ జాబితా చేస్తుంది. అదే పేజీ ఇలా చెబుతుంది: “ఆమోదించే ముందు ప్రతిపాదిత కోడ్‌ను, కమాండ్లను భద్రత కోసం సమీక్షించే బాధ్యత మీది.”

OpenAI Codex డాక్యుమెంటేషన్ ప్రకారం నెట్‌వర్క్ యాక్సెస్ డిఫాల్ట్‌గా ఆఫ్‌లో ఉంటుంది. వెర్షన్-నియంత్రిత ఫోల్డర్‌లో, Codex వర్కింగ్ డైరెక్టరీలో అడగకుండానే చదవగలదు, సవరించగలదు, కమాండ్లు నడపగలదు, వర్క్‌స్పేస్ బయట సవరించే ముందు లేదా నెట్‌వర్క్ యాక్సెస్ అవసరమైన కమాండ్లు నడిపే ముందు అడుగుతుంది. danger-full-access అనే మోడ్ శాండ్‌బాక్స్‌ను, ఆమోదాలను రెండింటినీ తొలగిస్తుంది, పేజీ దాన్ని సిఫార్సు చేయనిదిగా గుర్తిస్తుంది.

GitHub Copilot క్లౌడ్ ఏజెంట్ ఒక్క బ్రాంచ్‌కే పుష్ చేయగలదు, అది ఇప్పటికే ఉన్న పుల్ రిక్వెస్ట్‌పై పనిచేస్తే తప్ప కొత్త copilot/ బ్రాంచ్, తన సొంత పుల్ రిక్వెస్ట్‌లను ఆమోదించలేదు, మెర్జ్ చేయలేదు. రైట్ యాక్సెస్ ఉన్న వినియోగదారు ఆమోదించే వరకు దాని వర్క్‌ఫ్లోలు నడవవు.

రికార్డులో ఉన్న వైఫల్యాలు

2025 జూలైలో SaaS సముదాయం SaaStr వ్యవస్థాపకుడు జేసన్ లెమ్కిన్, కోడ్ ఫ్రీజ్ సమయంలో Replit కోడింగ్ ఏజెంట్ ఒక లైవ్ డేటాబేస్‌ను తొలగించిందని చెప్పారు. ఆ డేటాబేస్ 1,200కు పైగా ఎగ్జిక్యూటివ్‌లను, 1,190కి పైగా కంపెనీలను కవర్ చేసిందని ఫార్చ్యూన్ నివేదించింది. రోల్‌బ్యాక్ పనిచేయదని ఏజెంట్ మొదట లెమ్కిన్‌కు చెప్పింది, ఆయన డేటాను చేతితో పునరుద్ధరించారు. తొలగింపును “ఆమోదయోగ్యం కాదు, ఎప్పటికీ సాధ్యం కాకూడదు” అని Replit చీఫ్ ఎగ్జిక్యూటివ్ అమ్జాద్ మసాద్ అన్నారు, డెవలప్‌మెంట్, ప్రొడక్షన్ డేటాబేస్‌లను Replit ఆటోమేటిక్‌గా వేరు చేస్తుందని చెప్పారు.

కల్పిత సాఫ్ట్‌వేర్ ప్యాకేజీలు నమోదైన రెండో వైఫల్యం. USENIX Security 2025లో ప్రదర్శించిన ఒక అధ్యయనం 16 మోడల్స్ నుంచి 576,000 కోడ్ నమూనాలను సృష్టించి, ఉనికిలో లేని 205,474 ప్రత్యేక ప్యాకేజీ పేర్లను కనుగొంది. సగటు భ్రమ రేటు వాణిజ్య మోడల్స్‌కు కనీసం 5.2%, ఓపెన్-సోర్స్ వాటికి 21.7%. దాడి చేసేవారు అలాంటి పేరును నమోదు చేసి, ఎవరైనా ఇన్‌స్టాల్ చేసే వరకు వేచి ఉండవచ్చు.

ఇంటర్నెట్ యాక్సెస్ తెరిచి ఉన్న ఏజెంట్లు నకిలీ ఖాతాలు సృష్టించి ఒక నిజమైన డెవలపర్‌పై మాల్‌వేర్ పంపిన UK AI సెక్యూరిటీ ఇన్‌స్టిట్యూట్ జూలై ఘటన AISI ఘటనపై మా నివేదికలో ఉంది. ఇంటర్నెట్ యాక్సెస్‌ను తెరిచే ఉంచారని, తయారీదారుల సైబర్ ఫిల్టర్లను ఉద్దేశపూర్వకంగా ఆపేశారని AISI నివేదించింది. ఒక ప్యాకేజీ పేరు సరైనదిగా కనిపించి కూడా ఎందుకు ఉనికిలో ఉండదో చాట్‌బాట్లు తర్వాతి పదాన్ని ఎలా అంచనా వేస్తాయి అనే మా వివరణలో ఉంది.

కంపెనీలు, డెవలపర్లు ఏం చెబుతున్నారు

కింది సర్వేలు ప్రతివాదులు ఏమి చెబుతారో నమోదు చేస్తాయి, ఏజెంట్లు ఏం చేశాయో కాదు. KPMG Q3 2026 పల్స్ జూలై 24 నుంచి ఆగస్టు 25 మధ్య $1 బిలియన్ లేదా అంతకంటే ఎక్కువ ఆదాయం ఉన్న కంపెనీల్లోని 314 మంది అమెరికా నాయకులను సర్వే చేసింది. 25% మంది మల్టీ-ఏజెంట్ వ్యవస్థలను చురుకుగా అభివృద్ధి చేస్తున్నారని లేదా అమలు చేస్తున్నారని, ముందటి త్రైమాసికంలో అది 6% అని, 43% మందికి వినియోగ లేదా టోకెన్ బడ్జెట్లు అమలులో ఉన్నాయని అది కనుగొంది.

Google Cloud 2025 DORA నివేదిక దాదాపు 5,000 మంది టెక్నాలజీ నిపుణులను సర్వే చేసింది. 90% మంది పనిలో AI వాడతారని, 80%కి పైగా అది తమ ఉత్పాదకతను పెంచిందని నమ్ముతున్నారని, 30% మందికి AI రూపొందించిన కోడ్‌పై నమ్మకం తక్కువ లేదా లేదని అది కనుగొంది. AI వినియోగం అధిక డెలివరీ త్రూపుట్‌తోనూ, తక్కువ డెలివరీ స్థిరత్వంతోనూ ముడిపడి ఉందని కూడా అది కనుగొంది. వీటిలో ఏదైనా నియామకాల్లో కనిపిస్తుందా అనేది వేరే ప్రశ్న, స్టాన్‌ఫర్డ్ పేరోల్ అధ్యయనంపై మా వ్యాసంలో దాన్ని చర్చించాం.

30,000 మందికి పైగా ప్రతివాదులతో Stack Overflow 2026 సర్వే, AI కోడింగ్ అసిస్టెంట్లు లేదా ఏజెంట్లను వాడేవారిలో 73% మంది వాటిని రోజూ వాడతారని కనుగొంది. AI వాడేవారిలో 20% మంది ప్రొడక్షన్ వ్యవస్థలను అమలు చేయడానికి, నడపడానికి లేదా సమస్యలు పరిష్కరించడానికి AI వాడుతున్నట్లు నివేదించారు.