تضع لوحة SWE-Bench Pro من Scale أفضل وكيل برمجة عند 61.5 في المئة، ويرفض القائمون على الشيفرة كثيرا من الإصلاحات التي تجتاز الاختبارات، وتقول METR إن تجربتها الأخيرة لا تستطيع إظهار كم من الوقت توفره الوكلاء

أفضل نتيجة على لوحة SWE-Bench Pro العامة من Scale AI هي 61.5 في المئة، يحملها Muse Spark 1.1 من Meta، أي أن النموذج الأول في الترتيب يترك أكثر من ثلث المهام دون حل. ويعطي العمل المستقل الذي أجرته METR وEpoch AI، وهما جهتان تختبران أنظمة الذكاء الاصطناعي وتراجعانها، في 2026 صورة مختلطة: فالوكلاء ينجزون بعض المهام البرمجية التي تستغرق من خبير بشري معظم يوم عمل، وكثيرا ما يرفض من يتولون صيانة الشيفرة الرقع التي تجتاز الاختبارات الآلية، ولم تستطع أحدث تجربة لـMETR على مطورين يعملون إنتاج رقم موثوق للسرعة.

أي مقياس للبرمجة لا يزال له وزن

SWE-bench Verified، وهو مجموعة من 500 إصلاح لأخطاء من 12 مستودعا مفتوح المصدر، تصنفه Epoch AI بـ”معيب” (Flawed) في مراجعة مؤرخة في 3 سبتمبر 2026. وتقول Epoch إن لديها ثقة معقولة بأن أكثر من خُمس الأسئلة فيها مشكلات في التقييم. وكل مهمة وحلّها علنيان، فقد تكون النماذج رأتها أثناء التدريب.

وتصف مراجعة Epoch أيضا تدقيقا أجرته OpenAI في 23 فبراير 2026. فقد فحصت OpenAI نسبة 27.6 في المئة من المهام ووجدت أن 59.4 في المئة منها فيها اختبارات معيبة ترفض إجابات صحيحة. وهذا يضع حدا أدنى هو 16.4 في المئة من المجموعة كلها.

وبُني SWE-Bench Pro من Scale AI ليكون أصعب، ويصفه مؤلفوه بأنه منصة اختبار مقاومة للتلوث. وفيه 1,865 مهمة من 41 مستودعا. وتضم المجموعة العامة 731 منها، مأخوذة من مشاريع مفتوحة المصدر برخص كوبي ليفت (copyleft) القوية. وتأتي 276 أخرى من 18 قاعدة شيفرة خاصة لشركات ناشئة لا تنشرها Scale، و858 محجوبة.

وتدرج اللوحة العامة Muse Spark 1.1 عند 61.5 في المئة (بفارق 3.1 نقطة صعودا أو هبوطا)، وGPT-5.4 عند 59.1 في المئة، وClaude Opus 4.6 من Anthropic عند 51.9 في المئة. ويقول هامش الصفحة إن الثلاثة شُغّلت بإطار mini-swe-agent. وتسجل المجموعة الخاصة نتائج أقل. ففي صفحة Scale ينخفض Claude Opus 4.1 من 22.7 في المئة إلى 17.8 في المئة عليها، وGPT-5 من 23.1 في المئة إلى 14.9 في المئة، وكلاهما نموذجان أقدم.

ما يقيسه رقم الـ17 ساعة

تعرّف METR الأفق الزمني عند 50 في المئة لنموذج ما بأنه طول المهمة، مقيسا بالوقت الذي يستغرقه محترف بشري ذو الخبرة المناسبة، الذي ينجزه النموذج نصف المرات. وفي مجموعة Time Horizon 1.1 التي صدرت في يناير 2026 228 مهمة برمجية واستدلالية. ومن المهام الـ31 التي تستغرق من البشر ثماني ساعات أو أكثر، خمس فقط قيست أوقاتها من خطوط أساس بشرية. وتستخدم البقية أوقاتا مقدّرة.

ولـClaude Mythos Preview من Anthropic، الذي أُضيف إلى صفحة METR في 8 مايو 2026، أفق عند 50 في المئة قدره 1,045 دقيقة، أي 17.4 ساعة، بنطاق من 8.5 إلى 55 ساعة. وتقول صفحة METR نفسها إن القياسات فوق 16 ساعة غير موثوقة مع المجموعة الحالية. وعند معدل نجاح 80 في المئة، يبلغ تقدير النموذج نفسه 186 دقيقة، نحو 3.1 ساعات.

وبالنسبة إلى GPT-5.6 Sol من OpenAI، أفادت METR بنحو 11.3 ساعة (بنطاق من 5 إلى 40) حين تُحتسب محاولات الغش إخفاقات، وأكثر من 270 ساعة حين تُحتسب نجاحات، و71 ساعة حين تُستبعد. وتقول METR إنها لا تعد أيا من الأرقام الثلاثة قياسا موثوقا، وإن معدل الغش المرصود لدى النموذج كان أعلى مما لدى أي نموذج عام اختبرته METR على إطارها المعياري.

وعن الاتجاه، تضع مقالة METR Time Horizon 1.1 زمن المضاعفة عند 130.8 يوما للنماذج منذ 2023 (بنطاق من 107 إلى 161) و88.6 يوما للنماذج منذ 2024، مقابل 196.5 يوما على التاريخ كله. وكانت ورقتها الأولى في مارس 2025 قد أعطت نحو سبعة أشهر. وتحذر METR من أن الاتجاه حساس إلى حد ما بالمهام الموجودة في المجموعة. وتضيف مقالتها في مارس 2025 أن ترجمة مكاسب المقاييس إلى فائدة في العالم الحقيقي قد تكون صعبة.

وكلاء استخدام الحاسوب ينجزون خُمس سير العمل الطويلة

يختبر OSWorld 2.0، الذي نُشر على arXiv في 28 يونيو 2026 وراجعه مؤلفوه في 13 يوليو، الوكلاء على مهام حاسوبية حقيقية. وفيه 108 مسارات عمل، ويستغرق الشخص الماهر وسيطا نحو 1.6 ساعة لكل مهمة. وتُحتسب المهمة منجزة فقط إذا اكتملت تماما خلال 500 خطوة.

وفي تجارب المؤلفين أنفسهم حتى مراجعة يوليو، كان الأفضل Claude Opus 4.8 بأقصى تفكير، وقد أنجز 20.6 في المئة من المهام إنجازا كاملا وبلغ 54.8 في المئة في درجة الائتمان الجزئي. أما GPT-5.5 فاستقر قرابة 13 في المئة. وبلغ متوسط استدعاءات الأدوات لدى Claude Opus 4.7 نحو 318 لكل مهمة، مقابل نحو 30 في OSWorld الأصلي.

اجتياز الاختبارات ليس كالدمج

في مارس 2026 طلبت METR من أربعة من القائمين على scikit-learn وSphinx وpytest، وهي ثلاثة من مستودعات SWE-bench Verified الاثني عشر، أن يراجعوا 296 رقعة كتبها الذكاء الاصطناعي. وكانت كل رقعة قد اجتازت المصحح الآلي للمقياس. ولم يعرف المراجعون أي الرقع جاءت من الذكاء الاصطناعي. وراجع القائمون أيضا 47 رقعة بشرية أصلية ودمجوا نحو 68 في المئة منها، وهذا حدد خط الأساس.

وبعد التعديل بحسب خط الأساس ذلك، جاءت موافقة القائمين على الشيفرة دون درجة المصحح بنحو 24.2 نقطة مئوية. وبلا تعديل كان الفارق 34.9 نقطة. وكانت أسباب الرفض جودة الشيفرة، وكسر شيفرة أخرى، والإخفاق في حل المشكلة أصلا. وكان أحدث نموذج في الاختبار Claude Sonnet 4.5، ونال كل نموذج محاولة واحدة دون فرصة للتعديل، وتقول METR إنها لا تدّعي وجود حد جوهري.

التجربة على الإنتاجية التي لم تكتمل

أعطت تجربة METR العشوائية عام 2025 16 مطورا مفتوح المصدر من ذوي الخبرة 246 مسألة حقيقية، وخصصت لكل واحدة عشوائيا إما الذكاء الاصطناعي مسموح أو غير مسموح. ومع الذكاء الاصطناعي استغرقت المهام وقتا أطول بنسبة 19 في المئة (فترة من 2 في المئة إلى 39 في المئة). وقبل التجربة توقع المطورون أن يجعلهم الذكاء الاصطناعي أسرع بنسبة 24 في المئة، وبعدها ظلوا يعتقدون أنه جعلهم أسرع بنسبة 20 في المئة. وتضع METR الآن على الصفحة علامة أنها قديمة.

وبدأت المتابعة في أغسطس 2025 بـ57 مطورا في 143 مستودعا وأكثر من 800 مهمة. وتفيد تحديثات METR في 24 فبراير 2026 بأن المهام استغرقت وقتا أقل بنسبة 18 في المئة للمطورين العشرة العائدين (فترة من 38 في المئة أقل إلى 9 في المئة أكثر) وبنسبة 4 في المئة أقل للـ47 الجدد (فترة من 15 في المئة أقل إلى 9 في المئة أكثر). ثم تقول METR إن البيانات تعطي “إشارة غير موثوقة”. فقد رفض مطورون أكثر المشاركة دون وصول إلى الذكاء الاصطناعي، وأشارت الاستطلاعات إلى أن 30 إلى 50 في المئة أحجموا عن مهام لا يريدون إنجازها دون عون. كما انخفض الأجر من 150 دولارا في الساعة إلى 50، وصار تتبع الوقت غير موثوق حين شغّل المطورون عدة وكلاء في وقت واحد. وتقول METR إنها تعتقد أن المطورين على الأرجح أسرع بفضل الذكاء الاصطناعي الآن مما كانوا في مطلع 2025، وإن بياناتها دليل ضعيف جدا على مقدار ذلك فقط. وهي تعيد تصميم الدراسة.

ما تتيحه الشركات للوكلاء افتراضيا

تقول وثائق Claude Code من Anthropic إن وضعها اليدوي يبدأ للقراءة فقط ويسأل قبل تعديل الملفات أو تشغيل الأوامر. أما وضعها التلقائي فيدع نموذج تصنيف منفصلا يراجع الإجراءات بدلا من المستخدم، وتدرج الصفحة الوضع التلقائي وضعا مبدئيا لجلسات الطرفية التفاعلية وVS Code. وتقول الصفحة نفسها: “أنت مسؤول عن مراجعة الشيفرة والأوامر المقترحة من حيث السلامة قبل الموافقة.”

وتقول وثائق Codex من OpenAI إن الوصول إلى الشبكة مغلق افتراضيا. وفي مجلد خاضع للتحكم في الإصدارات، يستطيع Codex القراءة والتعديل وتشغيل الأوامر في دليل العمل دون أن يسأل، ويسأل قبل التعديل خارج مساحة العمل أو تشغيل أوامر تحتاج إلى الشبكة. ووضع اسمه danger-full-access يزيل الحماية المعزولة والموافقات معا، وتصفه الصفحة بأنه غير موصى به.

ويستطيع وكيل Copilot السحابي من GitHub أن يدفع إلى فرع واحد فقط، هو فرع جديد باسم copilot/ ما لم يكن يعمل على طلب سحب قائم، ولا يستطيع الموافقة على طلبات السحب الخاصة به أو دمجها. ولا تعمل مسارات عمله حتى يوافق عليها مستخدم لديه صلاحية الكتابة.

إخفاقات في السجل

في يوليو 2025 قال جيسون ليمكين، مؤسس مجتمع SaaS المسمى SaaStr، إن وكيل البرمجة في Replit حذف قاعدة بيانات حية أثناء تجميد للشيفرة. ونقلت Fortune أنها ضمت أكثر من 1,200 مسؤول تنفيذي وأكثر من 1,190 شركة. وقال الوكيل لليمكين أولا إن التراجع لن ينجح، واستعاد هو البيانات يدويا. ووصف الرئيس التنفيذي لـReplit، أمجد مسعد، الحذف بأنه “غير مقبول ويجب ألا يكون ممكنا أبدا” وقال إن Replit ستفصل قاعدتي بيانات التطوير والإنتاج تلقائيا.

وحزم البرمجيات المخترعة إخفاق موثق ثان. فقد ولدت دراسة عُرضت في USENIX Security 2025 عدد 576,000 عينة شيفرة من 16 نموذجا ووجدت 205,474 اسم حزمة فريدا لا وجود لها. وكان متوسط معدل الهلوسة 5.2 في المئة على الأقل للنماذج التجارية و21.7 في المئة للنماذج مفتوحة المصدر. ويستطيع مهاجم أن يسجل اسما كهذا وينتظر من يثبته.

وحادثة معهد أمن الذكاء الاصطناعي في المملكة المتحدة في يوليو، التي أنشأ فيها وكلاء بوصول مفتوح إلى الإنترنت حسابات مزيفة ودفعوا برمجيات خبيثة إلى مطور حقيقي، مبسوطة في تقريرنا عن حادثة AISI. وأفاد AISI بأن الوصول إلى الإنترنت تُرك مفتوحا وأن مرشحات الأمن السيبراني لدى المصنّعين أُطفئت عمدا. وسبب أن اسم حزمة قد يبدو صحيحا وهو غير موجود مغطى في شرحنا عن كيف تتنبأ روبوتات الدردشة بالكلمة التالية.

ما تفيد به الشركات والمطورون

تسجل الاستطلاعات أدناه ما يقوله المستجيبون، لا ما فعلته الوكلاء. فقد استطلع استطلاع KPMG النبضي للربع الثالث من 2026 آراء 314 قياديا أمريكيا في شركات إيراداتها مليار دولار أو أكثر بين 24 يوليو و25 أغسطس. ووجد أن 25 في المئة يطورون أو ينفذون أنظمة متعددة الوكلاء بنشاط، بعد أن كانت 6 في المئة في الربع السابق، وأن 43 في المئة لديهم ميزانيات استخدام أو رموز.

وشمل تقرير DORA لعام 2025 من Google Cloud قرابة 5,000 من محترفي التقنية. ووجد أن 90 في المئة يستخدمون الذكاء الاصطناعي في العمل وأن أكثر من 80 في المئة يعتقدون أنه رفع إنتاجيتهم، بينما 30 في المئة لديهم ثقة قليلة أو معدومة بالشيفرة التي يولدها الذكاء الاصطناعي. ووجد أيضا أن اعتماد الذكاء الاصطناعي مرتبط بارتفاع في معدل التسليم وبانخفاض في استقراره. وهل يظهر شيء من هذا في التوظيف سؤال منفصل، تناولناه في مقالنا عن دراسة ستانفورد لكشوف الرواتب.

ووجد استطلاع Stack Overflow لعام 2026، بأكثر من 30,000 مستجيب، أن 73 في المئة ممن يستخدمون مساعدي البرمجة أو وكلاءها بالذكاء الاصطناعي يستخدمونها يوميا. ومن مستخدمي الذكاء الاصطناعي، أفاد 20 في المئة بأنهم يستخدمونه لنشر أنظمة الإنتاج أو تشغيلها أو استكشاف أعطالها.