درّبت Meta نموذج Llama 3 بحجم 405 مليارات معلمة على 15.6 تريليون رمز وبـ30.84 مليون ساعة GPU، وفضّل مقيّمو OpenAI البشر نموذجا مضبوطا من 1.3 مليار معلمة على GPT-3 ذي الـ175 مليار معلمة

يضم نموذج Llama 3 الرئيسي من Meta 405 مليارات معلمة، وهي الأرقام القابلة للتعديل داخل الشبكة العصبية، وقد تعلّم من 15.6 تريليون رمز، والرمز قطعة من النص طولها بضعة أحرف. وتقدّر بطاقة نموذج Llama 3.1 هذا النموذج وحده بـ30.84 مليون ساعة على شرائح Nvidia H100، والعائلة كلها بأحجامها الثلاثة بـ39.3 مليون ساعة. وتقول الورقة التي تصفه، وتاريخها 23 يوليو 2024، إن نموذج 405B دُرّب على ما يصل إلى 16,000 شريحة H100. (تستخدم ورقة Meta اسم Llama 3 للنماذج 3.1، وكذلك يفعل هذا المقال.)

تقسّم ورقة Meta العمل إلى مرحلتين. التدريب الأولي يعلّم الشبكة اللغة بالتنبؤ بالكلمة التالية على نطاق هائل. ثم يضبطها ما بعد التدريب لتتبع التعليمات وتوافق تفضيلات البشر. يمرّ هذا المقال على المرحلتين بالترتيب، بالأرقام التي طبعتها المختبرات في أوراقها وبطاقات نماذجها، ويذكر مصدر كل رقم.

النص يُصفّى قبل أن يتعلم النموذج أي شيء

نصوص الويب الخام مليئة بالمكرر والمزعج والرديء، ولذلك تنظفها كل المختبرات أولا. تبدأ ورقة GPT-3 من OpenAI (2020) بـ41 لقطة شهرية من Common Crawl، وهو أرشيف عام للويب، تغطي الفترة من 2016 إلى 2019. كان ذلك 45 تيرابايت من النص المضغوط قبل التصفية و570 غيغابايت بعدها، أي نحو 400 مليار رمز.

كان للمرشّح جزءان. درّبت OpenAI مصنّفا يميّز مجموعاتها المرجعية الأعلى جودة عن Common Crawl الخام، ثم فضّلت الوثائق التي منحها المصنّف درجات أعلى. وأزالت أيضا الوثائق المتشابهة تقريبا، ومنها النسخ المشتركة بين مجموعات البيانات. ويضيف المؤلفون أن خللا في التصفية فوّت بعض التداخل مع مجموعات اختبار المعايير، وأن إعادة التدريب كانت أغلى من أن تُصلح ذلك.

خط الإنتاج في Llama 3 أطول. تصف ورقته إزالة المواقع التي تحمل كميات كبيرة من المعلومات الشخصية أو المحتوى الخاص بالبالغين، وحذف الأسطر المكررة، وعدّ «الكلمات البذيئة» لالتقاط مواقع البالغين التي تفوتها قوائم الحظر، وتقييم الجودة بمصنّفات سريعة وأخرى أبطأ مبنية على RoBERTa. ويصنّف كاشف اللغات الوثائق في 176 لغة. أما هل نسخ النصوص بهذا الحجم قانوني فتختبره المحاكم الآن، كما تبيّن ثلاثة أحكام صدرت في 2026. وتقول Meta إن المزيج النهائي يبلغ نحو 50 في المئة معرفة عامة و25 في المئة رياضيات واستدلالا و17 في المئة شيفرة برمجية و8 في المئة نصوصا متعددة اللغات.

تقطيع النص إلى رموز

لا تقرأ الشبكة الحروف ولا الكلمات الكاملة. إنها تقرأ الرموز، وهي قطع من مفردات ثابتة. بيّن سينريش وهادو وبيرتش في 2015 أن تفكيك الكلمات النادرة إلى وحدات أصغر منها، بطريقة تسمى ترميز أزواج البايتات، يتيح لنظام ترجمة أن يتعامل مع كلمات لم يرها من قبل.

استخدمت ورقة المحوّل في 2017 هذه الطريقة بمفردات مشتركة من نحو 37,000 رمز للإنجليزية والألمانية. أما Llama 3 فيستخدم 128,000: منها 100,000 من مرمّز tiktoken المفتوح من OpenAI، و28,000 أضيفت للغات غير الإنجليزية. وتذكر Meta أن المفردات الأكبر رفعت ضغط النص الإنجليزي من 3.17 إلى 3.94 حرف لكل رمز، فتغطي قدرة التدريب الحاسوبية نفسها نصا أكثر.

التدريب الأولي هو التنبؤ بالكلمة التالية على نطاق واسع جدا

التصميم الذي جعل هذا عمليا هو المحوّل، من فريق في Google وجامعة تورنتو ضم أشيش فاسواني ونوام شازير. وهو يتخلى عن التصميم التكراري القديم الذي يمضي خطوة خطوة، ويعتمد على الانتباه، وهي آلية تتيح لكل كلمة في المقطع أن تزن كل كلمة أخرى. وبلغ نموذج الورقة الكبير 28.4 على مقياس BLEU، وهو درجة للترجمة، في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام على ثماني وحدات P100. أما نموذجها الأساسي فكان بـ65 مليون معلمة ودُرّب 12 ساعة.

ثم وسّع التدريب الأولي هذه الوصفة. يملك GPT-3 175 مليار معلمة، وينظر في نافذة سياق من 2,048 رمزا، وقد دُرّب على 300 مليار رمز باستخدام وحدات V100 في مجمّع Microsoft. وتقدّر ورقة InstructGPT تدريبه الأولي بـ3,640 بيتافلوب/ثانية في اليوم، وهي وحدة تساوي 8.64 × 10^19 عملية بفاصلة عائمة.

يتألف Llama 3 405B من 126 طبقة، وقد دُرّب أوليا على 3.8 × 10^25 عملية، وتقول Meta إن هذا يقارب 50 ضعف أكبر Llama 2. بدأ التدريب بدفعات من 4 ملايين رمز وكبرت إلى 16 مليونا. وفي المرحلة الأخيرة مُدّدت نافذة السياق على ست خطوات من 8,000 إلى 128,000 رمز، واستخدمت مرحلة ختامية تسمى التخميد بيانات أعلى جودة.

كم رمزا ينبغي أن يرى نموذج بحجم معين

على المختبر الذي له ميزانية حوسبة ثابتة أن يقسّمها بين نموذج أكبر ونص أكثر. درّبت ورقة Chinchilla من DeepMind في مارس 2022 أكثر من 400 نموذج بين 70 مليون وأكثر من 16 مليار معلمة على 5 إلى 500 مليار رمز. وكانت نتيجتها أن حجم النموذج وعدد رموز التدريب ينبغي أن ينموا معا، بحيث يقابل كل تضاعف في أحدهما تضاعف في الآخر.

اختبرت DeepMind ذلك بنموذج Chinchilla، وهو نموذج من 70 مليار معلمة على 1.4 تريليون رمز استخدم قدرة الحوسبة نفسها التي استخدمها Gopher من 280 مليار معلمة، الذي رأى 300 مليار رمز. وتفيد الورقة بأن Chinchilla تفوق على Gopher وعلى GPT-3 في طيف واسع من المهام، وحصل على 67.5 في المئة في معيار MMLU.

وأجرت Meta ملاءمتها الخاصة. فاستقراء القدرة حتى 3.8 × 10^25 عملية أوحى بنموذج من 402 مليار معلمة على 16.55 تريليون رمز، واستقر الفريق على 405 مليارات معلمة. وبالقسمة البسيطة، يساوي ذلك نحو 38 رمزا لكل معلمة في Llama 3 405B، و20 في Chinchilla، وأقل من 2 في GPT-3.

ما الذي يحدث خطأ عبر 16,000 شريحة

التدريب مهمة واحدة متزامنة، ولذلك قد تُوقفه كله وحدة GPU واحدة معطلة. تحصي ورقة Meta 466 انقطاعا في المهام خلال 54 يوما من التدريب الأولي لنموذج 405B. منها 47 مخططا و419 غير مخطط، وعاد نحو 78 في المئة من غير المخططة إلى أعطال عتادية مؤكدة أو مشتبه فيها. وكانت مشكلات GPU وحدها 58.7 في المئة. ولم تحتج إلا ثلاث حالات إلى تدخل يدوي، وأبقى الفريق وقت التدريب الفعلي فوق 90 في المئة.

وتسرد بطاقة النموذج فاتورة الطاقة. أنتج تدريب العائلة 11,390 طنا من مكافئ ثاني أكسيد الكربون بحسب المحاسبة القائمة على الموقع، منها 8,930 لنموذج 405B. وعلى أساس السوق تذكر Meta صفرا، لأنها قابلت استهلاكها من الكهرباء بطاقة متجددة. ويرد السؤال الأوسع عن كهرباء مراكز البيانات في هذه القراءة لتوقعات وكالة الطاقة الدولية ومختبر بيركلي.

ما بعد التدريب يحوّل متنبئا بالنص إلى مساعد

النموذج المدرَّب أوليا يكمل النص، ولا يجيب عن الأسئلة بصورة موثوقة. وقد عرضت ورقة InstructGPT من OpenAI العلاج في ثلاث خطوات. كتب متعاقدون إجابات نموذجية، وضُبط النموذج عليها بتعلم خاضع للإشراف عادي. ثم رتّب المتعاقدون عدة إجابات من النموذج عن المطالبة نفسها، ودُرّب نموذج مكافأة على التنبؤ بترتيبهم. وأخيرا ضُبط النموذج اللغوي بالتعلم المعزز، مستخدما درجة نموذج المكافأة بوصفها المكافأة.

كانت البيانات صغيرة. عمل في المشروع نحو 40 متعاقدا، وضمّت مجموعات البيانات الثلاث نحو 13,000 و33,000 و31,000 مطالبة. وكان نموذج المكافأة بـ6 مليارات معلمة. وتقدّر الورقة الحوسبة بـ4.9 بيتافلوب/ثانية في اليوم للخطوة الخاضعة للإشراف و60 لتشغيلة التعلم المعزز الكاملة على 175 مليار معلمة، مقابل 3,640 للتدريب الأولي لـGPT-3.

وعلى مطالبات OpenAI نفسها، فضّل المقيّمون مخرجات InstructGPT ذي 1.3 مليار معلمة على مخرجات GPT-3 ذي 175 مليار معلمة. وفُضّل InstructGPT كامل الحجم على GPT-3 في 85 في المئة من الحالات، بزيادة أو نقصان 3 نقاط. وفي TruthfulQA قدّم إجابات صادقة ومفيدة بمعدل يقارب الضعف. وفي المهام المغلقة النطاق مثل تلخيص نص معطى، انخفض المحتوى المختلق من 41 إلى 21 في المئة، وكان الناتج السام أقل بنحو 25 في المئة حين طُلب من النموذج أن يكون محترما. وتذكر الورقة أيضا «ضريبة المواءمة»، وهي انخفاضات صغيرة في معايير مثل SQuAD وDROP، أزالها إلى حد كبير دمج تحديثات التدريب الأولي.

يستخدم Llama 3 الفكرة نفسها بخطوة أخيرة مختلفة. درّبت Meta نموذج مكافأة على بيانات تفضيلات بشرية، وضبطت النموذج على أمثلة، واختارت أفضل إجابة من عدة إجابات مأخوذة بنموذج المكافأة، ثم طبّقت التحسين المباشر للتفضيلات (DPO) على ست جولات. وتقول الورقة إن Meta جرّبت PPO، وهي الخوارزمية التي استخدمتها InstructGPT، ووجدت أن DPO تحتاج حوسبة أقل على النطاق الكبير. وتلخص بطاقة النموذج المرحلة بأنها ضبط خاضع للإشراف مع تعلم معزز من التغذية الراجعة البشرية. ويبيّن جدولها أن Llama 3.1 405B سجّل 85.2 في معيار MMLU قبل ما بعد التدريب و87.3 بعده.

اختبارات السلامة وبطاقة النموذج

تقيس Meta أمرين بعد ضبط السلامة. يحصي معدل المخالفة الإجابات التي تخرق سياسة السلامة، ويحصي معدل الرفض الخاطئ الطلبات غير الضارة التي يردّها النموذج خطأ. وتعامل الورقة الاثنين زوجا واحدا، لأن نموذجا يرفض كل شيء يحصل على معدل مخالفة مثالي. ويضم الفريق الأحمر، وهو الذي يهاجم النموذج عمدا، متخصصين في الأمن السيبراني والتعلم الآلي الخصامي والذكاء الاصطناعي المسؤول، إضافة إلى خبراء متعددي اللغات. وأصدرت Meta أيضا Llama Guard 3، وهو نموذج منفصل يفحص المدخلات والمخرجات.

والوثيقة الملخِّصة التي ترافق الإصدار هي بطاقة النموذج، وهي صيغة اقترحتها مارغريت ميتشل وزملاؤها في 2018 للإبلاغ عن الاستخدامات المقصودة للنموذج وأدائه عبر الفئات. وتذكر بطاقة Llama 3.1 نحو 15 تريليون رمز تدريب، وتاريخ توقف للمعرفة في ديسمبر 2023، وسياقا من 128,000 رمز، وساعات GPU والانبعاثات المذكورة أعلاه، والاستخدامات التي تستبعدها Meta.

نماذج هندية مبنية على حوسبة هندية

يضع بيان صادر عن شعبة الحوكمة الإلكترونية الوطنية في 24 فبراير 2026 البنية التحتية الوطنية القائمة للذكاء الاصطناعي عند 38,000 وحدة GPU، مع إضافة 20,000 أخرى. وفي 6 مارس 2026 أصدرت Sarvam AI نموذجين مفتوحين وقالت إن التدريب جرى بالكامل داخل الهند على حوسبة وفّرتها مهمة IndiaAI. وتذكر Sarvam 16 تريليون رمز لنموذجها ذي 30 مليار معلمة، الذي ينشّط 2.4 مليار معلمة لكل رمز، و12 تريليونا لنموذجها ذي 105 مليارات معلمة. ويغطي مرمّزها جميع اللغات الهندية المجدولة الاثنتين والعشرين. ويرد البرنامج في شرح مهمة IndiaAI وفي المقال عن الذكاء الاصطناعي بلغات الهند نفسها.

يسرد منشور Sarvam ثلاث مراحل للتدريب الأولي، ثم الضبط الخاضع للإشراف، ثم مرحلة تعلم معزز على نظام غير متزامن قائم على GRPO، بمكافآت تجمع فحوصا قابلة للتحقق وتقييما بمعايير محددة في الرياضيات والبرمجة واستخدام الأدوات.