Skip to content
وجدت ورقة قوانين التحجيم من OpenAI عام 2020 أن خسارة النموذج تتراجع وفق قانون قوة على أكثر من سبع رتب من الحجم، وبيّنت ورقة Chinchilla من DeepMind عام 2022 أن نموذجا من 70 مليار معلمة يستطيع التفوق على نموذج من 280 مليارا بالحوسبة نفسها
الذكاء الاصطناعي والتكنولوجيا

وجدت ورقة قوانين التحجيم من OpenAI عام 2020 أن خسارة النموذج تتراجع وفق قانون قوة على أكثر من سبع رتب من الحجم، وبيّنت ورقة Chinchilla من DeepMind عام 2022 أن نموذجا من 70 مليار معلمة يستطيع التفوق على نموذج من 280 مليارا بالحوسبة نفسها

رسم: tuput

العربية

ورقتان وضعتا القواعد التي استندت إليها المختبرات في تقرير حجم النموذج اللغوي. فضّلت ورقة OpenAI لعام 2020 النماذج الأكبر، وفضّلت ورقة DeepMind لعام 2022 نموا متساويا للنموذج والبيانات، ثم صقلت أعمال لاحقة من DeepSeek وMeta وEpoch AI وتقرير سلامة الذكاء الاصطناعي الدولي لعام 2026 القاعدتين معا.

· · 8 دقيقة قراءة

بنت DeepMind نموذجين لغويين بحوسبة تدريب واحدة، وفاز الأصغر. كان في Gopher 280 مليار معلمة، وهي الأرقام القابلة للضبط داخل الشبكة العصبية، وقرأ 300 مليار رمز، وهي القطع النصية القصيرة التي يتعلم منها النموذج. أما Chinchilla ففيه 70 مليار معلمة وقرأ 1.4 تريليون رمز. وتفيد ورقة DeepMind المنشورة على arXiv في 29 مارس 2022 بأن Chinchilla تفوق على Gopher في كل المهام التي قاستها تقريبا، ومنها اختبار MMLU للمعرفة العامة، حيث سجل 67.5 في المئة (67.6 في جدول الورقة) مقابل 60.0 لـGopher.

جاءت النتيجة من طريقة للتنبؤ بجودة النموذج قبل بنائه تسمى قانون التحجيم: منحنى مُلاءَم يربط خطأ النموذج بحجمه وببيانات تدريبه وبالقدرة الحاسوبية المنفقة. ويتتبع هذا المقال الورقتين اللتين وضعتا المصطلحات، ورقة OpenAI في 23 يناير 2020 وورقة DeepMind في 29 مارس 2022، ثم الأعمال اللاحقة التي عدّلتهما: DeepSeek في يناير 2024، ومحاولة استنساخ خارجية في أبريل 2024، وLlama 3 من Meta في يوليو 2024، وتقرير سلامة الذكاء الاصطناعي الدولي في 3 فبراير 2026. ولمعرفة كيف يُدرَّب النموذج فعليا، انظر شرحنا خطوة بخطوة.

ما الذي قاسته ورقة 2020

درّب جاريد كابلان وسام ماكاندليش وثمانية من المؤلفين المشاركين في OpenAI وجامعة جونز هوبكنز نماذج لغوية من نوع Transformer بأحجام كثيرة، وتتبعوا خسارتها بالإنتروبيا المتقاطعة، وهي درجة تقيس مدى سوء تنبؤ النموذج بالرمز التالي، والأقل فيها هو الأفضل. وتقول الخلاصة إن الخسارة تتراجع وفق قانون قوة مع حجم النموذج وحجم مجموعة البيانات وحوسبة التدريب، وإن بعض الاتجاهات تمتد على أكثر من سبع رتب من الحجم. وقانون القوة خط مستقيم على رسم بمحورين لوغاريتميين: كل زيادة بعشرة أضعاف في مدخل تشتري انخفاضا ثابتا يمكن التنبؤ به في الخسارة.

وهناك نتيجتان أخريان شكّلتا ما فعلته المختبرات بعد ذلك. فتفاصيل البنية، مثل عمق الشبكة أو عرضها، كان أثرها ضئيلا ضمن نطاق واسع، فكان الحجم هو ما يهم. وفي ميزانية حوسبة ثابتة، تقول الورقة إن أفضل نتيجة تأتي من تدريب نماذج كبيرة جدا على قدر متواضع نسبيا من البيانات والتوقف قبل التقارب بوقت طويل، وهو النقطة التي لا يفيد بعدها مزيد من التدريب. وتجعل الأسس المُلاءَمة في الورقة حجم النموذج ينمو بقدر الحوسبة مرفوعة إلى القوة 0.73 والبيانات بقدر الحوسبة مرفوعة إلى القوة 0.27. وتقرأ ورقة DeepMind اللاحقة ذلك هكذا: مع حوسبة أكبر بعشرة أضعاف ينبغي أن ينمو النموذج 5.5 مرة ورموز التدريب 1.8 مرة فقط.

وورقة Kaplan صريحة في حدودها. فملحقها يقول: «ليس لدينا فهم نظري متين» لهذه القوانين، وبغيابه يصعب معرفة متى يمكن الوثوق بها. ويلاحظ مؤلفو DeepMind أنه باتباع هذه النصيحة دُرّبت معظم النماذج الكبيرة في ذلك الوقت، ومنها GPT-3، على نحو 300 مليار رمز.

مقلاة أكبر أم مكونات أكثر

يفيد تشبيه من المطبخ. كلفة التدريب تساوي تقريبا ستة أضعاف عدد المعلمات مضروبا في عدد الرموز، وهو تقريب تستخدمه ورقتا Kaplan وDeepSeek معا. تخيّل المعلمات حجم المقلاة والرموز كمية المكونات، مع ثبات ساعات الطهي. إن اخترت مقلاة أكبر بمرتين، ومع ثبات الساعات، فلن تملأها إلا إلى النصف. وقانون التحجيم يجيب عن كيفية تقسيم ميزانية ثابتة بين المقلاة والمكونات للوصول إلى أقل خسارة. وهذا الجواب هو معنى «الأمثل حسابيا».

مال تلاؤم Kaplan إلى المقلاة. ومال تلاؤم DeepMind إلى المواءمة بين الاثنين.

اختبار 2022: 400 عملية تدريب ونموذج واحد

درّب جوردان هوفمان ولوران سيفر وزملاؤهما في DeepMind أكثر من 400 نموذج، من أقل من 70 مليون معلمة إلى أكثر من 16 مليارا، كل منها على عدة كميات من البيانات. وقدّروا أفضل تقسيم بثلاث طرائق: تتبع أدنى خسارة عبر منحنيات التدريب، وملاءمة منحنيات عند ميزانيات حوسبة ثابتة (تسمى ملامح IsoFLOP)، وملاءمة صيغة للخسارة مباشرة. وتوافقت الطرائق الثلاث توافقا وثيقا. فجاء أس حجم النموذج 0.50 و0.49 و0.46، وأس البيانات 0.50 و0.51 و0.54، مقابل 0.73 و0.27 عند Kaplan. وخلاصة الورقة أنه مع كل مضاعفة لحجم النموذج ينبغي أن يتضاعف عدد رموز التدريب أيضا.

وكان التنبؤ، لحوسبة التدريب التي دُرّب بها Gopher، وتضعها الورقة عند 5.76 × 10^23 عملية، نموذجا أصغر بأربع مرات يُدرَّب على رموز أكثر بأربع مرات. وقد اختبره Chinchilla. وبقسمة أرقام الورقة نفسها نحصل على نحو 20 رمزا لكل معلمة في Chinchilla، مقابل نحو 1.7 في GPT-3 (300 مليار رمز على 175 مليار معلمة) و1.1 في Gopher. وبتقدير الورقة، فإن نموذجا من 175 مليار معلمة مثل GPT-3 كان الأفضل أن يُدرَّب بـ4.41 × 10^24 عملية على أكثر من 4.2 تريليون رمز.

ورقم واحد يحتاج إلى حذر. فمنشور مدونة DeepMind في 12 أبريل 2022 يقول إن Chinchilla دُرّب على 1.3 تريليون رمز، بينما تقول الورقة 1.4 تريليون في نصها وفي جدولها الأول. ويعتمد هذا المقال رقم الورقة، وملخص Epoch AI للورقة يعطي الرقم نفسه.

وتبيّن اختبارات DeepMind نفسها أيضا أن الأمثل حسابيا ليس هو الأفضل مطلقا. فالمنشور يشير إلى أن PaLM من Google، بـ540 مليار معلمة و768 مليار رمز، استخدم نحو خمسة أضعاف حوسبة Chinchilla وتفوق عليه في طيف من المهام. وتتنبأ طريقة المؤلفين بأنه عند ميزانية PaLM كان الخيار الأمثل نموذجا من 140 مليار معلمة على 3 تريليونات رمز.

ويسرد المؤلفون حدودهم بأنفسهم. فلديهم عمليتا تدريب كبيرتان قابلتان للمقارنة فقط، Chinchilla وGopher، ولا شيء عند أحجام متوسطة. وهم يفترضون حدّا يتبع قانون قوة مع أنهم يلاحظون بعض الانحناء عند الحوسبة العالية، ويقولون إن هذا يوحي بأن الحجم الأمثل لأكبر النماذج ربما ما زال مبالغا فيه. وكل عملية تدريب استخدمت أقل من تمريرة واحدة على بياناتها.

ما يوفره النموذج الأصغر بعد بنائه

تضيف خلاصة ورقة Chinchilla فائدة ثانية: لأنه أصغر، فهو يحتاج إلى حوسبة أقل بكثير في الضبط الدقيق وفي الاستدلال، أي العمل الذي يجيب به المستخدمين بعد التدريب. والنموذج الشائع يُستعلم منه أكثر بكثير مما يُدرَّب، فتتراكم كلفة تشغيله على فاتورة المختبر، والنموذج الأصغر هو كذلك النوع الذي يمكن أن يتسع في هاتف.

وتبيّن ورقة Llama 3 من Meta كيف استفادت المختبرات من هذه النقطة. فقد لاءم فريقها قانون تحجيم خاصا به، كما نصفه في شرح التدريب، ويقول إن نموذجه الرائد بـ405 مليارات معلمة ذو حجم أمثل حسابيا تقريبا لميزانيته. ثم تضيف Meta أنها دربت نماذجها الأصغر لمدة أطول بكثير مما هو أمثل حسابيا، وأن النتيجة تؤدي أفضل من النماذج المثلى حسابيا عند ميزانية الاستدلال نفسها. ويشير ملخص Epoch AI لعمل الاستنساخ إلى النقطة العامة نفسها: لتقليل كلفة الاستدلال، يكون من الأفضل عادة استخدام نموذج أصغر يُدرَّب لمدة أطول من المقدار الأمثل حسابيا، على الأقل بقدر ما يتعلق الأمر بحوسبة التدريب الأولي. فـ«الأمثل حسابيا» يجيب عن سؤال عن فاتورة التدريب وحدها.

فحص DeepSeek في يناير 2024 للبيانات

تنطلق ورقة DeepSeek-AI الصادرة في 5 يناير 2024 من الخلاف بين الورقتين السابقتين، وتقول إنهما أظهرتا استنتاجات متباينة وأثارتا شكوكا في مدى انطباق القوانين. وأعادت ملاءمة المنحنيات بطريقة IsoFLOP، واستبدلت بعدد المعلمات عمليات الفاصلة العائمة غير المتعلقة بالتضمين لكل رمز، وهي مقياس لما يكلفه كل رمز من حوسبة، مقياسا لحجم النموذج.

ويعطي جدولها الرابع أس حجم النموذج في ثلاث مجموعات بيانات. ففي صف OpenAI، وهو رقم Kaplan، يبلغ 0.73، وفي MassiveText من DeepMind 0.49، وفي بيانات DeepSeek المبكرة كان 0.450، وفي بياناتها الحالية 0.524، وفي إعادة ملاءمة OpenWebText2 0.578. وقراءة الورقة أنه كلما كانت البيانات أفضل ذهب جزء أكبر من أي حوسبة إضافية إلى نموذج أكبر، وأن الجودة تغيّر التقسيم. وهذه نتيجة DeepSeek نفسها على مجموعات بياناتها هي. وتقول الشركة إن القوانين المُلاءَمة تنبأت بأداء نموذجيها من 7 مليارات و67 مليار معلمة، وكلاهما دُرّب على 2 تريليون رمز، أي نحو 30 رمزا لكل معلمة للنموذج الأكبر.

محاولة استنساخ واحدة وما وجدته

في أبريل 2024 نشر تامي بيسيروغلو وإيغي إردِل وماثيو بارنيت وجوش يو من Epoch AI، وهي مجموعة بحثية تتتبع اتجاهات الذكاء الاصطناعي، محاولة لاستنساخ طريقة DeepMind الثالثة، الصيغة المُلاءَمة. فأعادوا بناء جزء من البيانات من الرسوم في الورقة ولاءموا الصيغة نفسها.

ويفيدون بأن التقديرات المنشورة للمعلمات تلائم تلك البيانات المعاد بناؤها ملاءمة ضعيفة. ويفيدون بأن فترات الثقة المنشورة ضيقة بصورة غير معقولة، ضيقة إلى حد أنه، بحسب خلاصتهم، كانت ستلزم أكثر من 600,000 تجربة بينما أجرت DeepMind على الأرجح أقل من 500. ويفيدون بأن الصيغة كما نُشرت تعني نحو 70 رمزا لكل معلمة، وهذا يخالف طرائق DeepMind نفسها ويخالف الـ20 رمزا لكل معلمة التي دُرّب بها Chinchilla. أما إعادة ملاءمتهم فتعطي نحو 20، بما يتفق مع الطريقتين الأخريين في الورقة. وهم يردّون الفارق إلى توقف المُحسِّن قبل التقارب وإلى تقريب الأرقام المنشورة.

وهذا يجعل النتيجة أضيق مما قد يوحي به عنوان صحفي. فمحاولة استنساخ واحدة وجدت مشكلات في الأرقام المنشورة للطريقة الثالثة، ووجدت أن نتيجة النمو المتساوي فيها متسقة مع الطريقتين الأوليين. وهي ورقة أولية خارجية مبنية على بيانات معاد بناؤها، وليست الكلمة الأخيرة، وتقول Epoch إن الأعمال السابقة التي اعتمدت على الملاءمة المنشورة قد تحتاج إلى مراجعة.

ما يقوله تقرير 2026، ومثال من Sarvam

يصف تقرير سلامة الذكاء الاصطناعي الدولي لعام 2026، الصادر في 3 فبراير 2026 بقيادة يوشوا بنجيو وبدعم من أكثر من 30 دولة ومنظمة دولية، قوانين التحجيم بأنها علاقات يمكن التنبؤ بها بين حجم النموذج والحوسبة والأداء صمدت عبر ست رتب من الحجم في حجم النموذج. ويقول أيضا إنها انتظامات تجريبية مستنتجة من السلوك المرصود وقد تنهار خارج الحوسبة أو البيانات التي رُصدت حتى الآن، وإن المكاسب في القدرات منذ يناير 2025 جاءت بصورة متزايدة من ما بعد التدريب ومن حوسبة إضافية وقت الاستخدام، لا من حجم النموذج وحده.

ويقدم منشور Sarvam AI في 6 مارس 2026 نقطة بيانات هندية حالية. فهو يفيد بأن Sarvam 30B دُرّب على 16 تريليون رمز وSarvam 105B على 12 تريليونا، وكلاهما بحوسبة مهمة IndiaAI (انظر تقريرنا عن معالجات المهمة ونماذجها). وبالقسمة البسيطة يكون ذلك نحو 530 رمزا لكل معلمة في 30B ونحو 114 في 105B، أي أعلى بكثير من 20 عند Chinchilla. وفي المقارنة مأخذ، لأن كليهما نموذج مزيج خبراء، لا ينشّط إلا جزءا من معلماته لكل رمز، ويعطي المنشور 2.4 مليار معلمة نشطة في 30B. أما مقارنة Chinchilla نفسها فكانت بين نماذج كثيفة تُستخدم فيها كل معلمة لكل رمز، وتناقش ورقة 2022 تصاميم مزيج الخبراء بوصفها عملا لآخرين فقط. ويسرد منشور Sarvam أعداد الرموز ولا يصف حسابا أمثل حسابيا وراءها.

Share
Copied!

المصادر وقراءات إضافية

  1. Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
  2. Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
  3. Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
  4. Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
  5. Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
  6. DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
  7. Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
  8. International AI Safety Report 2026 (published 3 February 2026)
  9. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#scaling laws#chinchilla#compute-optimal training#large language models#deepmind#openai#deepseek#sarvam ai

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
نشر ثمانية باحثين من غوغل ورقة الترانسفورمر في 12 يونيو 2017، وسجّل نموذجها الكبير 28.4 على مقياس BLEU في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام من التدريب على ثماني وحدات GPU
جولة في التصميم الكامن وراء روبوتات الدردشة اليوم، بالاعتماد على جداول الورقة نفسها ومثال غوغل نفسه عن كلمة عليها أن تنظر إلى نهر. وتتناول أيضا ما أبقت عليه النماذج اللاحقة من تصميم 2017 وما غيّرته وما أسقطته.
نموذج سارفام ذو 105 مليارات معامل يحسب بـ 10.3 مليارات منها لكل رمز، بتصميم مزيج الخبراء الذي يمتد من ورقة 1991 إلى Mixtral وDeepSeek
موجِّه صغير يرسل كل كلمة إلى بضع شبكات فرعية من 128، فيظل معظم النموذج خاملاً مع أي كلمة. من أين جاء التصميم، وكيف تستخدمه Mixtral وDeepSeek وسارفام، وما الذي لا يوفره.
درّبت Meta نموذج Llama 3 بحجم 405 مليارات معلمة على 15.6 تريليون رمز وبـ30.84 مليون ساعة GPU، وفضّل مقيّمو OpenAI البشر نموذجا مضبوطا من 1.3 مليار معلمة على GPT-3 ذي الـ175 مليار معلمة
خمس أوراق وبطاقة نموذج واحدة تشرح كل مرحلة من مراحل بناء النموذج الذي تقوم عليه روبوتات المحادثة. وهذه المراحل بالترتيب، مع المعلمات والرموز وساعات GPU ونتائج الاختبارات كما نشرتها المختبرات نفسها.
← كل المقالات