رسم: tuput
العربية
ظهرت ورقة DeepSeek عن R1 في مجلة Nature في 17 سبتمبر 2025 (المجلد 645، الصفحات من 633 إلى 638). وهي تفيد بأن النموذج اللغوي يستطيع تعلم كتابة حلول طويلة تراجع نفسها حين يكافأ على الإجابات النهائية الصحيحة فقط، دون أمثلة محلولة كتبها بشر ليحاكيها. ونشرت المجلة أيضا تقارير ثمانية مراجعين وردود المؤلفين.
في 17 سبتمبر 2025 نشرت Nature الورقة التي تقف وراء DeepSeek-R1، نموذج الاستدلال من شركة DeepSeek في هانغتشو، في المجلد 645، الصفحات من 633 إلى 638. ونتيجتها المركزية أن النموذج اللغوي يستطيع تعلم كتابة حلول طويلة تراجع نفسها حين يكافأ على الإجابات النهائية الصحيحة فقط، دون أمثلة محلولة كتبها بشر ليحاكيها. وفي امتحان الرياضيات الأمريكي الدعوي AIME لعام 2024، وهو مسابقة رياضيات أمريكية لطلاب الثانوية إجاباتها أرقام مفردة، ارتفع متوسط الإجابات الصحيحة للنسخة الأولى من النموذج، R1-Zero، من 15.6% إلى 77.9% على امتداد التدريب، بحسب الشكل 1 في الورقة. ورفعه التصويت بالأغلبية على عدة إجابات مسحوبة إلى 86.7%.
نشرت Nature تقارير المراجعين وردود المؤلفين إلى جانب الورقة، وتعطي صفحاتها التكميلية فاتورة التدريب: 294 ألف دولار بسعر إيجار GPU الذي افترضه المؤلفون. وما يلي يشرح كيف يُدرَّب مثل هذا النموذج، ومن أين جاءت كل فكرة، وما الذي غيّره التحكيم العلمي.
ما تدّعيه الورقة
ينطلق R1-Zero من DeepSeek-V3 Base، وهو نموذج سبق تدريبه على نصوص الويب (تناولنا مرحلة التدريب المسبق في شرحنا عن التدريب). ثم طبّق المؤلفون التعلم المعزز، وهو طريقة تجربة وخطأ تُقيَّم فيها إجابات النموذج نفسه ويُدفع النموذج نحو الإجابات ذات الدرجات الجيدة. وتخطّوا خطوة الضبط الدقيق الموجَّه المعتادة، التي يقدم فيها الناس أمثلة محلولة ليحاكيها النموذج. وكانت المكافأة تعتمد فقط على تطابق الإجابة النهائية مع الإجابة الصحيحة المعروفة. والتعليمة الوحيدة عن الشكل كانت قالبا يطلب من النموذج وضع استدلاله بين وسمي التفكير وإجابته بين وسمي الإجابة.
وتقول الورقة إن الاستجابات طالت مع التدريب وبدأت تتضمن التحقق والتأمل واستكشاف مقاربات بديلة، مع أن المؤلفين لم يعلّموا النموذج صراحة كيف يستدل. وكان في R1-Zero عيوب: نصه صعب القراءة وخلط أحيانا بين الإنجليزية والصينية في إجابة واحدة. فبنى الفريق DeepSeek-R1 على مراحل. تبدأ بآلاف من أمثلة البداية الباردة المكتوبة بأسلوب حواري، وتضيف التعلم المعزز، ثم أخذ العينات بالرفض (الإبقاء على مخرجات النموذج الجيدة فقط) مع جولة ثانية من الضبط الدقيق الموجَّه، وتنتهي بمرحلة تعلم معزز ثانية تستهدف النفع وعدم الإضرار.
وتؤرخ ملاحظة إصدار DeepSeek النموذج في 20 يناير 2025 وتقول إن الشيفرة والنماذج بترخيص MIT، مع إصدار ستة نماذج مقطّرة أصغر أيضا. وفي بطاقة النموذج تسرد DeepSeek أن R1 يسجل 79.8% في AIME 2024 مقابل 39.2% لـDeepSeek-V3، النموذج الذي بُني عليه، باستخدام 64 إجابة مسحوبة لكل سؤال عند حرارة 0.6. وتناولنا خلفاء النموذج في نظرتنا إلى النماذج الصينية مفتوحة الأوزان. وكانت صفحة النموذج على Hugging Face تعدّ نحو 51.5 مليون تنزيل على مدى عمره حين فتحناها في 12 نوفمبر 2026.
ثلاث أفكار سابقة تبني عليها الورقة
جاءت فكرة أن النموذج يؤدي أفضل حين يكتب خطواته أولا من التلقين. فقد نشر جيسون وي وزملاؤه في Google ورقة سلسلة التفكير في 28 يناير 2022. وهم يذكرون أن نموذجا من 540 مليار معلمة، لم يُعرض عليه إلا ثمانية أمثلة محلولة، بلغ أحدث مستويات الدقة في GSM8K، وهي مجموعة من مسائل الرياضيات المدرسية اللفظية. وفي 24 مايو 2022 أظهر تاكيشي كوجيما وزملاؤه أن إضافة عبارة «لنفكر خطوة بخطوة» رفعت دقة نموذج كبير واحد من 17.7% إلى 78.7% في MultiArith ومن 10.4% إلى 40.7% في GSM8K، دون أي أمثلة.
والخيط الثالث كان التغذية الراجعة على الخطوات نفسها. ففي ورقة نُشرت في 31 مايو 2023 قارن باحثو OpenAI بين مكافأة النتيجة النهائية وحدها ومكافأة كل خطوة وسيطة. وفازت التغذية الراجعة على مستوى الخطوة في مجموعة MATH، إذ حل أفضل نموذج 78% من مجموعة فرعية ممثلة، وأصدر الفريق PRM800K، وهي 800 ألف تسمية على مستوى الخطوة كتبها بشر.
وكل واحدة من هذه احتاجت إلى بشر: لأمثلة، أو لتسميات على كل خطوة. وتحاجّ مقدمة ورقة Nature بأن الاعتماد على آثار استدلال يشرحها البشر يبطئ التوسع ويحد النموذج بجودة الأمثلة التي عُرضت عليه. واختبارها كان: هل يستطيع نموذج أساسي أن يجد استراتيجيات استدلال جيدة من المكافأة وحدها.
لماذا تستطيع آلة تقييم إجابة رياضية
يستخدم المؤلفون نوعين من المكافآت القائمة على القواعد في مهام الاستدلال. مكافأة الدقة تفحص الإجابة: فمسألة الرياضيات تتطلب الإجابة النهائية بصيغة محددة، كأن تكون داخل مربع، فيستطيع برنامج مقارنتها بمفتاح الحل، والشيفرة يشغّلها مترجم على حالات اختبار محددة سلفا. ومكافأة الصيغة تفحص أن الاستدلال يقع داخل الوسوم. وتُجمع المكافأتان بوزن متساو.
واختاروا ألا يستخدموا نموذج مكافأة متعلَّما، أي شبكة عصبية ثانية تقيّم الإجابات، في مهام الاستدلال. وتقول الورقة إن هذه النماذج عرضة لاختراق المكافأة في التدريب الواسع، أي أن النموذج يتعلم إرضاء المقيِّم بدل حل المسألة، وإن إعادة تدريبها تكلف حوسبة إضافية.
وطريقة التعلم هي تحسين السياسة النسبي للمجموعة (GRPO). ففي كل سؤال يكتب النموذج مجموعة من الإجابات، 16 في تجربة R1-Zero. وتُقارن مكافأة كل إجابة بمتوسط المجموعة وتشتتها، وتُجعل الإجابات الأعلى من المتوسط أرجح. ويقول تعليق الشكل في ورقة Nature إن هذا يقدّر الأفضلية من درجات المجموعة مباشرة، دون دالة القيمة المنفصلة التي تستخدمها طريقة PPO الأقدم. وقدّم فريق DeepSeek طريقة GRPO في ورقة DeepSeekMath في 5 فبراير 2024، حيث بلغ نموذج من 7 مليارات معلمة 51.7% في اختبار MATH؛ وتستشهد ورقة Nature بذلك العمل وتصف الطريقة في قسم المنهج.
وتدرّب R1-Zero 10400 خطوة. استخدمت كل خطوة 32 سؤالا بـ16 إجابة لكل سؤال، أي 512 إجابة، بحد للطول 32768 رمزا رُفع إلى 65536 بعد الخطوة 8200.
ما أظهرته منحنيات التدريب
تذكر الورقة أن متوسط طول الاستجابة ارتفع باطراد أثناء التدريب، وأن النموذج صار يكتب مئات إلى آلاف الرموز وهو يتحقق من عمله. ويعدّ شكل البيانات الموسعة فيها الكلمات التأملية مثل «انتظر» و«خطأ» و«تحقق» في المخرجات. فكلمة «انتظر» كانت شبه غائبة في البداية، وظهرت بين حين وآخر بين الخطوتين 4000 و7000، وارتفعت ارتفاعا حادا بعد الخطوة 8000. ويسمي المؤلفون مثالا وسيطا «لحظة آها».
وعامل المراجعون هذه القراءة بحذر. كتب أحدهم أن التأثير أُعيد إنتاجه على نطاق صغير على يد مجموعة أخرى، وأضاف أن ورقة منفصلة تشير إلى أن لحظة آها قد تعكس في معظمها جودة النموذج الأساسي. ولاحظ آخر أن كل التقييمات تقيّم الإجابات النهائية فقط، لا النص الوسيط، فلا تُقاس الخطوات المكتوبة من حيث التماسك. ولذلك يصفها هذا المقال خطوات وسيطة يكتبها النموذج، ولا يدّعي أن النموذج يفكر.
ما تشمله فاتورة التدريب
تسرد المعلومات التكميلية R1-Zero بـ101 ألف ساعة GPU من طراز H800، و5000 ساعة لإنشاء بيانات الضبط الدقيق و41 ألف ساعة لـR1، أي 147 ألفا في المجموع. وبسعر إيجار مفترض قدره 2 دولار للساعة يبلغ ذلك 294 ألف دولار. واستخدمت التجربة 64 في 8 من وحدات H800، أي 512 شريحة، لنحو 198 ساعة لـR1-Zero ونحو 80 ساعة لـR1. ويقول المؤلفون إنهم استعدوا أولا بوحدات A100 على نموذج من 30 مليار معلمة.
والرقم يشمل مراحل الاستدلال فقط. وتلاحظ Scientific American، وهي تكتب لحساب Nature، أنه يأتي فوق نحو 6 ملايين دولار أنفقتها DeepSeek على النموذج الأساسي. وتصف الصفحات التكميلية DeepSeek-V3 بأن فيه 671 مليار معلمة، منها 37 مليارا نشطة لكل رمز، دُرّب على 14.8 تريليون رمز.
ما الذي طلبه المراجعون وما الذي تغيّر
استُلمت المخطوطة في 14 فبراير 2025، وقُبلت في 17 يوليو 2025، ونُشرت في 17 سبتمبر 2025. وتقول افتتاحية Nature إن ثمانية متخصصين راجعوها وإن التقارير والردود نُشرت معها. وقال لويس تانستال من Hugging Face، وهو أحد المراجعين المعلنة أسماؤهم، لـNature إن هذه الممارسة «سابقة مرحَّب بها جدا». وقال هوان صن من جامعة ولاية أوهايو: «على الشركات الأخرى أن تفعل الشيء نفسه.»
وتوثَّق عدة تغييرات. حثّ أحد المراجعين المؤلفين على التقليل من وصف النص الوسيط للنموذج بمفردات بشرية. فحذف المؤلفون الصياغة، وأقروا في ردهم بأن الأنماط الشبيهة بالبشر قد تدفع المستخدمين إلى الإفراط في الثقة بالمخرجات، وأضافوا هذا الخطر إلى النص المنقَّح. وسأل المراجعون كذلك عن التلوث، أي تسرب أسئلة الاختبار إلى بيانات التدريب (وتبيّن مراجعات اختبارات الذكاء الاصطناعي لماذا تُقرأ أرقام الصانعين بحذر). وبحسب افتتاحية Nature، قدمت DeepSeek تفاصيل عن ضماناتها وأضافت تقييمات على اختبارات نُشرت بعد إصدار النموذج. وتذكر الصفحات التكميلية 75% في AIME 2025 مقابل 80% لنموذج o1-1217 من OpenAI، و143.7 من 150 في مسابقة AMC 12 لعام 2024 مقابل 141.0 لـo1-1217، كلها في اختبارات DeepSeek نفسها. وتقر أيضا بأن مرشح n-gram المستخدم ضد التلوث لا يستطيع التقاط أسئلة الاختبار المعاد صياغتها، فقد تظل الاختبارات الصادرة قبل 2024 متأثرة.
والتغيير الثالث كان قسما للسلامة. تقول افتتاحية Nature إن المراجعين أشاروا إلى نقص المعلومات عن اختبارات السلامة، والورقة تقارن الآن R1 بنماذج منافسة؛ وتخلص إلى أن مستوى السلامة الكامن في R1 معتدل، مماثل لـGPT-4o الصادر في 13 مايو 2024. وبشأن بيانات OpenAI، تنقل Scientific American أن DeepSeek أبلغت المراجعين بأن R1 لم يتعلم بنسخ أمثلة استدلال ولّدتها نماذج OpenAI، مع إقرارها بأن نموذجها الأساسي دُرّب على صفحات ويب لا بد أن تتضمن نصوصا مولدة بالذكاء الاصطناعي. ووصف صن الرد بأنه «مقنع كأي شيء يمكننا رؤيته في أي منشور»؛ وقال تانستال إنه لا يستطيع أن يكون متأكدا تماما، لكن محاولات مختبرات أخرى لإعادة الإنتاج تشير إلى أن الوصفة تعمل بدون ذلك. أما بيانات التدريب نفسها فلم تُنشر، وهو حد أشار إليه أحد المراجعين من جهة قابلية إعادة الإنتاج.
ما يعدّه المؤلفون غير محلول
يسمي قسم القيود في الورقة نفسها عدة نقاط. فالمخرجات المنظمة في R1 أضعف من نماذج قائمة، وهو لا يستطيع استخدام أدوات مثل محركات البحث أو الآلات الحاسبة. وهو ينفق أحيانا رموزا كثيرة على أسئلة سهلة. وهو مضبوط للصينية والإنجليزية وقد يستدل بالإنجليزية حتى حين يُسأل بلغة أخرى. والتلقين بأمثلة قليلة يزيده سوءا، ولذلك يوصي المؤلفون بوصف المسألة مباشرة. ولأن اختبارات هندسة البرمجيات تستغرق وقتا طويلا في التشغيل، لم يُطبَّق التعلم المعزز الواسع هناك إلا قليلا، ولا يُظهر R1 مكسبا كبيرا على DeepSeek-V3 في تلك الاختبارات.
وتحتاج الطريقة إلى مدقق موثوق. ففي مهام مثل الكتابة، حيث لا قاعدة تستطيع تقييم الإجابة، استخدم المؤلفون بيانات يشرحها البشر ومئات الخطوات فقط من التعلم المعزز. وحُصر نموذج المكافأة القائم على نموذج للبيانات العامة في الخطوات الـ400 الأخيرة من خطوات المرحلة الثانية الـ1700، لأن التعرض الأطول أدى إلى اختراق المكافأة.
المصادر وقراءات إضافية
- Guo and others (DeepSeek-AI): DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature 645, 633 to 638 (17 September 2025)
- Nature: Supplementary Information for the DeepSeek-R1 paper (cost table, evaluation settings, decontamination, fresh test sets)
- Nature: Peer Review File for the DeepSeek-R1 paper (referee reports and author responses)
- arXiv: DeepSeek-R1, Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv:2501.12948, submitted 22 January 2025, revised 4 January 2026)
- Ippolito and Zhang, Nature News and Views: AI can learn to show its workings through trial and error (17 September 2025)
- Nature editorial: Bring us your LLMs, why peer review is good for AI models (17 September 2025)
- Gibney, Scientific American (with Nature): Secrets of DeepSeek AI model revealed in landmark paper (17 September 2025)
- Wei and others (Google): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903, 28 January 2022)
- Kojima and others: Large Language Models are Zero-Shot Reasoners (arXiv:2205.11916, 24 May 2022)
- Lightman and others (OpenAI): Let's Verify Step by Step (arXiv:2305.20050, 31 May 2023)
- Shao and others (DeepSeek): DeepSeekMath, Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300, 5 February 2024)
- DeepSeek: DeepSeek-R1 model card on Hugging Face (MIT licence, evaluation table)
- DeepSeek API Docs: DeepSeek-R1 Release (20 January 2025)
أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.
أعجبك المقال؟ احصل على التالي.
مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.