Scale च्या SWE-Bench Pro फलकावर सर्वोत्तम कोडिंग एजंट ६१.५% वर आहे, चाचण्या पास होणाऱ्या अनेक दुरुस्त्या देखभालकर्ते नाकारतात, आणि METR म्हणते की तिची ताजी चाचणी एजंट किती वेळ वाचवतात हे दाखवू शकत नाही

Scale AI च्या सार्वजनिक SWE-Bench Pro लीडरबोर्डवरील सर्वोत्तम गुण ६१.५% आहे, जो मेटाच्या Muse Spark 1.1 कडे आहे, म्हणजे अव्वल क्रमांकाचे मॉडेलही एक तृतीयांशाहून अधिक कामे सोडवू शकत नाही. एआय प्रणालींची चाचणी आणि पुनरावलोकन करणाऱ्या METR आणि Epoch AI या दोन गटांचे २०२६ मधील स्वतंत्र काम संमिश्र चित्र देते: मानवी तज्ज्ञाला कामाच्या दिवसाचा बहुतेक भाग लागणारी काही सॉफ्टवेअर कामे एजंट पूर्ण करतात, स्वयंचलित चाचण्या पास होणाऱ्या दुरुस्त्या कोड सांभाळणाऱ्या माणसांकडून अनेकदा नाकारल्या जातात, आणि कार्यरत विकसकांवरील METR ची ताजी चाचणी विश्वासार्ह वेगाचा आकडा देऊ शकली नाही.

कोणता कोडिंग बेंचमार्क अजूनही ग्राह्य

SWE-bench Verified, १२ ओपन-सोर्स रिपॉझिटरींमधील ५०० बग दुरुस्त्यांचा संच, Epoch AI ने ३ सप्टेंबर २०२६ च्या पुनरावलोकनात “Flawed” (सदोष) असा ठरवला आहे. Epoch म्हणते की एक पंचमांशाहून अधिक प्रश्नांत गुणांकनाच्या समस्या आहेत याबद्दल तिला वाजवी खात्री आहे. प्रत्येक काम आणि उत्तर सार्वजनिक आहे, त्यामुळे मॉडेलनी ते प्रशिक्षणादरम्यान पाहिले असू शकते.

Epoch चे पुनरावलोकन OpenAI ने २३ फेब्रुवारी २०२६ रोजी केलेल्या तपासणीचेही वर्णन करते. OpenAI ने २७.६% कामे तपासली आणि त्यापैकी ५९.४% मध्ये योग्य उत्तरे नाकारणाऱ्या सदोष चाचण्या आढळल्या. त्यामुळे संपूर्ण संचाच्या १६.४% इतकी किमान पातळी ठरते.

Scale AI चा SWE-Bench Pro अधिक कठीण असावा म्हणून बनवला गेला, आणि त्याचे लेखक त्याला दूषणास प्रतिरोधक चाचणी-क्षेत्र म्हणतात. त्यात ४१ रिपॉझिटरींमधील १,८६५ कामे आहेत. सार्वजनिक संचात त्यातील ७३१ आहेत, जी कडक कॉपीलेफ्ट परवान्यांखालील ओपन-सोर्स प्रकल्पांतून घेतली आहेत. आणखी २७६ १८ खासगी स्टार्टअप कोडबेसमधून आली आहेत, जे Scale प्रसिद्ध करत नाही, आणि ८५८ राखून ठेवली आहेत.

सार्वजनिक लीडरबोर्डवर Muse Spark 1.1 ६१.५% (अधिक किंवा उणे ३.१ गुण), GPT-5.4 ५९.१% आणि Anthropic चे Claude Opus 4.6 ५१.९% वर आहे. पानाची तळटीप म्हणते की तिन्ही mini-swe-agent हार्नेससह चालवले गेले. खासगी संचात गुण कमी आहेत. Scale च्या पानावर Claude Opus 4.1 त्यात २२.७% वरून १७.८% वर आणि GPT-5 २३.१% वरून १४.९% वर घसरते, दोन्ही जुनी मॉडेल.

१७ तासांचा आकडा काय मोजतो

METR मॉडेलचा ५०% टाइम होरायझन अशा कामाची लांबी म्हणून मांडते, जी योग्य कौशल्य असलेल्या मानवी व्यावसायिकाला किती वेळ लागतो यावरून मोजली जाते, आणि जी मॉडेल निम्म्या वेळा पूर्ण करते. जानेवारी २०२६ मध्ये प्रसिद्ध झालेल्या तिच्या Time Horizon 1.1 संचात २२८ सॉफ्टवेअर आणि तर्कशक्तीची कामे आहेत. माणसांना आठ तास किंवा अधिक लागणाऱ्या ३१ कामांपैकी फक्त ५ चे वेळ मानवी आधाररेषांवरून मोजले आहेत. बाकीचे अंदाजित वेळ वापरतात.

Anthropic चे Claude Mythos Preview, जे ८ मे २०२६ रोजी METR च्या पानावर जोडले गेले, त्याचा ५०% होरायझन १,०४५ मिनिटे, म्हणजे १७.४ तास आहे, ८.५ ते ५५ तासांच्या श्रेणीसह. METR चे स्वतःचे पान म्हणते की सध्याच्या संचासह १६ तासांपेक्षा जास्त मोजमापे अविश्वसनीय आहेत. ८०% यशदराने त्याच मॉडेलचा अंदाज १८६ मिनिटे, सुमारे ३.१ तास आहे.

OpenAI च्या GPT-5.6 Sol साठी, METR ने फसवणुकीचे प्रयत्न अपयश मानले तर सुमारे ११.३ तास (श्रेणी ५ ते ४०), यश मानले तर २७० तासांहून अधिक आणि वगळले तर ७१ तास असे कळवले. METR म्हणते की तिन्ही आकड्यांपैकी कोणतेही विश्वासार्ह मोजमाप ती मानत नाही, आणि मॉडेलच्या आढळलेल्या फसवणुकीचा दर METR ने आपल्या प्रमाणित हार्नेसवर तपासलेल्या कोणत्याही सार्वजनिक मॉडेलपेक्षा जास्त होता.

कलाबद्दल, METR च्या Time Horizon 1.1 पोस्टमध्ये २०२३ पासूनच्या मॉडेलसाठी दुपटीचा काळ १३०.८ दिवस (श्रेणी १०७ ते १६१) आणि २०२४ पासूनच्या मॉडेलसाठी ८८.६ दिवस आहे, तर संपूर्ण इतिहासात १९६.५ दिवस. तिच्या मार्च २०२५ च्या पहिल्या शोधनिबंधात सुमारे सात महिने दिले होते. METR सावध करते की संचात कोणती कामे आहेत यावर कल काहीसा अवलंबून असतो. तिची मार्च २०२५ ची पोस्ट जोडते की बेंचमार्कमधील प्रगतीचे वास्तव जगातील उपयुक्ततेत रूपांतर करणे आव्हानात्मक असू शकते.

कॉम्प्युटर-वापर एजंट दीर्घ वर्कफ्लोपैकी एक पंचमांश पूर्ण करतात

OSWorld 2.0, जो २८ जून २०२६ रोजी arXiv वर टाकला गेला आणि १३ जुलै रोजी सुधारला गेला, एजंटांची चाचणी प्रत्यक्ष संगणकीय कामांवर करतो. त्यात १०८ वर्कफ्लो आहेत, आणि कुशल माणसाला प्रत्येक कामासाठी मध्यकाने सुमारे १.६ तास लागतात. काम ५०० पायऱ्यांच्या आत पूर्णपणे पूर्ण झाले तरच ते झालेले मानले जाते.

जुलैच्या सुधारणेनुसार लेखकांच्या स्वतःच्या चाचण्यांत सर्वोत्तम होते कमाल थिंकिंगसह Claude Opus 4.8, ज्याने २०.६% कामे पूर्णपणे पूर्ण केली आणि अंशतः गुण देणाऱ्या मोजणीत ५४.८% गाठले. GPT-5.5 सुमारे १३% जवळ थांबले. Claude Opus 4.7 ने प्रति काम सरासरी ३१८ टूल कॉल केले, मूळ OSWorld मधील सुमारे ३० च्या तुलनेत.

चाचण्या पास होणे आणि विलीन होणे सारखे नाही

मार्च २०२६ मध्ये METR ने scikit-learn, Sphinx आणि pytest, म्हणजे बारा SWE-bench Verified रिपॉझिटरींपैकी तीन, यांच्या चार देखभालकर्त्यांना २९६ एआय-लिखित पॅचचे पुनरावलोकन करायला सांगितले. प्रत्येक पॅच बेंचमार्कच्या स्वयंचलित ग्रेडरमधून आधीच पास झाला होता. कोणते पॅच एआयकडून आले ते पुनरावलोकनकर्त्यांना माहीत नव्हते. देखभालकर्त्यांनी ४७ मूळ मानव-लिखित पॅचचेही पुनरावलोकन केले आणि त्यातील सुमारे ६८% विलीन केले, ज्याने आधाररेषा ठरवली.

त्या आधाररेषेसाठी समायोजन केल्यानंतर, देखभालकर्त्यांची मंजुरी ग्रेडरच्या गुणापेक्षा सुमारे २४.२ टक्केवारी गुणांनी कमी होती. समायोजनाशिवाय फरक ३४.९ गुणांचा होता. नाकारण्याची कारणे कोडची गुणवत्ता, इतर कोड मोडणे, आणि समस्या अजिबात न सोडवणे ही होती. चाचणीतील सर्वात नवे मॉडेल Claude Sonnet 4.5 होते, प्रत्येक मॉडेलला सुधारणेची संधी नसलेला एकच प्रयत्न मिळाला, आणि METR म्हणते की ती मूलभूत मर्यादा असल्याचा दावा करत नाही.

पूर्ण न होऊ शकलेली उत्पादकता चाचणी

METR च्या २०२५ च्या यादृच्छिक चाचणीत १६ अनुभवी ओपन-सोर्स विकसकांना २४६ वास्तविक समस्या देण्यात आल्या आणि प्रत्येक समस्या एआयला परवानगी किंवा एआयला मनाई यांपैकी एकाला यादृच्छिकपणे नेमली गेली. एआयसह कामांना १९% जास्त वेळ लागला (अंतराल २% ते ३९%). चाचणीपूर्वी विकसकांना अपेक्षा होती की एआय त्यांना २४% वेगवान करेल, आणि नंतरही त्यांचा विश्वास होता की त्याने त्यांना २०% वेगवान केले. METR आता ते पान कालबाह्य म्हणून चिन्हांकित करते.

पाठपुरावा ऑगस्ट २०२५ मध्ये १४३ रिपॉझिटरींमधील ५७ विकसकांसह आणि ८०० हून अधिक कामांसह सुरू झाला. METR चे २४ फेब्रुवारी २०२६ चे अद्यतन कळवते की परत आलेल्या दहा विकसकांसाठी कामांना १८% कमी वेळ लागला (अंतराल ३८% कमी ते ९% जास्त) आणि ४७ नवीन विकसकांसाठी ४% कमी (अंतराल १५% कमी ते ९% जास्त). मग METR म्हणते की माहिती “अविश्वसनीय संकेत” देते. एआय प्रवेशाशिवाय सहभागी होण्यास नकार देणाऱ्या विकसकांची संख्या वाढली, आणि सर्वेक्षणांनुसार ३०% ते ५०% विकसकांनी विनामदत करायची नसलेली कामे राखून ठेवली. मानधनही प्रति तास $१५० वरून $५० वर आले होते, आणि विकसकांनी एकाच वेळी अनेक एजंट चालवल्यावर वेळेची नोंद अविश्वसनीय झाली. METR म्हणते की तिचा विश्वास आहे की विकसक २०२५ च्या सुरुवातीपेक्षा आता बहुधा अधिक वेगवान झाले आहेत, आणि किती ते सांगणारा तिचा पुरावा फक्त अतिशय कमजोर आहे. ती अभ्यासाची पुनर्रचना करत आहे.

विक्रेते एजंटना डिफॉल्ट म्हणून काय करू देतात

Anthropic चे Claude Code दस्तऐवजीकरण म्हणते की त्याचा मॅन्युअल मोड केवळ वाचनाने सुरू होतो आणि फाइल संपादित करण्यापूर्वी किंवा कमांड चालवण्यापूर्वी विचारतो. त्याचा ऑटो मोड वापरकर्त्याच्या जागी एका वेगळ्या क्लासिफायर मॉडेलला कृतींचे पुनरावलोकन करू देतो, आणि पान ऑटो मोडला परस्परसंवादी टर्मिनल आणि VS Code सत्रांसाठी सुरुवातीचा मोड म्हणून नमूद करते. त्याच पानावर म्हटले आहे: “मंजुरीपूर्वी प्रस्तावित कोड आणि कमांड सुरक्षित आहेत का याचे पुनरावलोकन करण्याची जबाबदारी तुमची आहे.”

OpenAI चे Codex दस्तऐवजीकरण म्हणते की नेटवर्क प्रवेश डिफॉल्ट म्हणून बंद असतो. आवृत्ती-नियंत्रित फोल्डरमध्ये Codex न विचारता वर्किंग डिरेक्टरीत वाचू, संपादित करू आणि कमांड चालवू शकते, आणि वर्कस्पेसबाहेर संपादित करण्यापूर्वी किंवा नेटवर्क प्रवेश लागणाऱ्या कमांड चालवण्यापूर्वी ते विचारते. danger-full-access नावाचा मोड सँडबॉक्स आणि मंजुऱ्या दोन्ही काढून टाकतो, आणि पान त्याला शिफारस केलेले नाही असे चिन्हांकित करते.

GitHub चा Copilot क्लाउड एजंट फक्त एकाच ब्रँचवर पुश करू शकतो, म्हणजे नवी copilot/ ब्रँच, तो विद्यमान पुल रिक्वेस्टवर काम करत नसल्यास, आणि स्वतःच्या पुल रिक्वेस्ट मंजूर किंवा विलीन करू शकत नाही. लिहिण्याचा प्रवेश असलेला वापरकर्ता मंजुरी देईपर्यंत त्याचे वर्कफ्लो चालत नाहीत.

नोंदलेली अपयशे

जुलै २०२५ मध्ये, SaaS समुदाय SaaStr चे संस्थापक जेसन लेमकिन यांनी सांगितले की Replit च्या कोडिंग एजंटने कोड फ्रीझ दरम्यान एक चालू डेटाबेस हटवला. Fortune ने वृत्त दिले की त्यात १,२०० हून अधिक अधिकारी आणि १,१९० हून अधिक कंपन्यांचा समावेश होता. एजंटने आधी लेमकिन यांना सांगितले की रोलबॅक चालणार नाही, आणि त्यांनी डेटा हाताने परत मिळवला. Replit चे मुख्य कार्यकारी अमजद मसद यांनी हटवण्याला “अस्वीकार्य आणि कधीही शक्य नसले पाहिजे” असे म्हटले आणि सांगितले की Replit डेव्हलपमेंट आणि प्रॉडक्शन डेटाबेस आपोआप वेगळे करेल.

कल्पित सॉफ्टवेअर पॅकेज हे दुसरे नोंदलेले अपयश आहे. USENIX Security 2025 मध्ये सादर झालेल्या अभ्यासाने १६ मॉडेलमधून ५७६,००० कोड नमुने तयार केले आणि २०५,४७४ अद्वितीय पॅकेज नावे आढळली जी अस्तित्वात नाहीत. व्यावसायिक मॉडेलसाठी सरासरी हॅल्युसिनेशन दर किमान ५.२% आणि ओपन-सोर्स मॉडेलसाठी २१.७% होता. हल्लेखोर असे नाव नोंदवू शकतो आणि कोणीतरी ते इन्स्टॉल करण्याची वाट पाहू शकतो.

यूके एआय सिक्युरिटी इन्स्टिट्यूटची जुलैची घटना, ज्यात खुल्या इंटरनेट प्रवेशासह एजंटनी बनावट खाती तयार केली आणि एका खऱ्या विकसकावर मालवेअर ढकलला, ती AISI घटनेवरील आमच्या अहवालात मांडली आहे. AISI ने कळवले की इंटरनेट प्रवेश चालू ठेवला होता आणि निर्मात्यांचे सायबर फिल्टर मुद्दाम बंद केले होते. पॅकेजचे नाव बरोबर दिसूनही अस्तित्वात का नसते हे चॅटबॉट पुढचा शब्द कसा ओळखतात यावरील आमच्या स्पष्टीकरणात आहे.

कंपन्या आणि विकसक काय कळवतात

खालील सर्वेक्षणे उत्तरदाते काय म्हणतात ते नोंदवतात, एजंटनी काय केले ते नव्हे. KPMG च्या Q3 २०२६ पल्समध्ये २४ जुलै ते २५ ऑगस्ट दरम्यान १ अब्ज डॉलर किंवा अधिक महसूल असलेल्या कंपन्यांमधील ३१४ अमेरिकी नेत्यांचे सर्वेक्षण झाले. त्यात आढळले की २५% सक्रियपणे मल्टी-एजंट प्रणाली विकसित किंवा अमलात आणत आहेत, मागील तिमाहीतील ६% वरून, आणि ४३% कडे वापर किंवा टोकन अंदाजपत्रके लागू आहेत.

Google Cloud च्या २०२५ DORA अहवालात जवळजवळ ५,००० तंत्रज्ञान व्यावसायिकांचे सर्वेक्षण झाले. त्यात आढळले की ९०% कामावर एआय वापरतात आणि ८०% हून अधिक जणांना वाटते की त्याने त्यांची उत्पादकता वाढवली, तर ३०% जणांचा एआय-निर्मित कोडवर कमी किंवा अजिबात विश्वास नाही. त्यात एआयचा स्वीकार वाढलेल्या वितरण क्षमतेशी आणि कमी झालेल्या वितरण स्थैर्याशी जोडलेला आढळला. यापैकी काही भरतीत दिसते का हा वेगळा प्रश्न आहे, आणि तो स्टॅनफोर्ड वेतनपट अभ्यासावरील आमच्या लेखात घेतला आहे.

Stack Overflow च्या २०२६ च्या सर्वेक्षणात, ३०,००० हून अधिक उत्तरदात्यांसह, आढळले की एआय कोडिंग सहाय्यक किंवा एजंट वापरणाऱ्यांपैकी ७३% ते रोज वापरतात. एआय वापरकर्त्यांपैकी २०% नी प्रॉडक्शन प्रणाली तैनात करणे, चालवणे किंवा त्यातील बिघाड शोधणे यासाठी एआय वापरत असल्याचे कळवले.