Skip to content
نموذج سارفام ذو 105 مليارات معامل يحسب بـ 10.3 مليارات منها لكل رمز، بتصميم مزيج الخبراء الذي يمتد من ورقة 1991 إلى Mixtral وDeepSeek
الذكاء الاصطناعي والتكنولوجيا

نموذج سارفام ذو 105 مليارات معامل يحسب بـ 10.3 مليارات منها لكل رمز، بتصميم مزيج الخبراء الذي يمتد من ورقة 1991 إلى Mixtral وDeepSeek

رسم: tuput

العربية

يرسل نموذج سارفام المفتوح 105B، المدرَّب في الهند على حوسبة مهمة IndiaAI، كل رمز إلى 8 خبراء من 128، فيشغّل 10.3 مليارات معامل في كل مرة. وتعود الفكرة إلى ورقة من 1991 لجاكوبز وجوردان ونولان وهينتون، ووصلت إلى نماذج اللغة في ورقة من يناير 2017 لنوام شازير وزملائه.

· · 8 دقيقة قراءة

يضم نموذج سارفام 105B، الذي نُشر بأوزان مفتوحة في 6 مارس 2026، 105 مليارات معامل (وهي الأرقام القابلة للضبط التي تتعلمها الشبكة أثناء التدريب)، لكن بطاقة النموذج على Hugging Face تقول إن 10.3 مليارات منها فقط تكون نشطة مع أي رمز واحد، أي كلمة أو جزء من كلمة. ويأتي التوفير من تصميم يسمى مزيج الخبراء. وتقول سارفام إنها دربت النموذج وشقيقه الأصغر 30B من الصفر في الهند، على حوسبة وفرتها مهمة IndiaAI.

ومزيج الخبراء هو أيضاً ما يوجد داخل Mixtral وDeepSeek-V2 ونماذج DeepSeek الأحدث. وترسم الأوراق وبطاقات النماذج خطاً يمتد من ورقة 1991 إلى شبكة عام 2017 ذات 137 مليار معامل، ومنها إلى النماذج المفتوحة من 2024 إلى 2026. ويشترك 105B من سارفام مع DeepSeek-V2 في ميزتين تصميميتين، هما الخبير المشترك وشكل مضغوط من الانتباه، وكلاهما موصوف أدناه.

ما يفعله الموجِّه داخل الشبكة

لمن هم جدد على المصطلحات، يغطي شرحنا لكيفية تدريب نموذج لغوي كبير المعاملات والرموز والتدريب المسبق.

في المحوّل (transformer) العادي، وهو التصميم الذي تقوم عليه روبوتات الدردشة اليوم، يمر كل رمز عبر كتلة تغذية أمامية في كل طبقة. وتلك الكتلة رصة كبيرة من الأرقام تؤدي جانباً كبيراً من معالجة النموذج. ويستبدل نموذج مزيج الخبراء بالكتلة الواحدة عدة كتل أصغر تسمى الخبراء، ويضيف موجِّهاً (router). ويصف شرح Hugging Face لعام 2023 الموجِّه بأنه شبكة صغيرة متعلَّمة تقرر أي الرموز تذهب إلى أي خبير، ويقول إنه يُدرَّب مع بقية النموذج. وتقول Mistral في منشورها عن Mixtral الشيء نفسه: يُدرَّب الخبراء والموجِّهات في آن واحد.

والنتيجة انقسام بين رقمين. فبصياغة Hugging Face في فبراير 2026، تعتمد سعة النموذج على معاملاته الكلية، لكن سرعة استدلاله تعتمد على معاملاته النشطة. ويعالج المنشور نموذج gpt-oss-20b المفتوح: 21 مليار معامل في المجموع، ويُستخدم 4 خبراء من 32 لكل رمز، ونحو 3.6 مليارات نشطة. وقدّر تقدير للسرعة مبني على عرض نطاق ذاكرة Apple M3 Ultra نحو 111 رمزاً في الثانية، وكانت السرعة المقيسة نحو 115.

والخبير ليس متخصصاً في موضوع. فمنشور 2026 يقول إنه ببساطة شبكة فرعية قابلة للتعلم، وليس «خبير رياضيات» أو «خبير شيفرة». ويذكر منشور 2023 أن خبراء المرمِّز في إحدى الدراسات (ST-MoE) تخصصوا في مجموعات من الرموز مثل علامات الترقيم أو الأسماء العلم، وأنه في تجربة متعددة اللغات لم يتخصص خبير واحد بلغة واحدة.

فكرة من 1991 وقفزة في 2017

نقطة البداية ورقة في مجلة Neural Computation، المجلد 3، من عام 1991، لروبرت جاكوبز ومايكل جوردان وستيفن نولان وجيفري هينتون. وهي تصف إجراء تعلم لمنظومة من شبكات منفصلة كثيرة، تعالج كل منها مجموعة فرعية من حالات التدريب، مع شبكة بوابة ترسل كل حالة إلى خبير واحد أو عدة خبراء بحيث تبقى تغييرات الأوزان محلية لديهم. وتذكر حاشية في الورقة أن الفكرة عرضها جاكوبز وهينتون أول مرة في مدرسة صيفية في بيتسبرغ عام 1988. واختبر المؤلفون الفكرة بتقسيم مهمة التعرف على الحروف الصائتة إلى مهام فرعية، تحل كلاً منها شبكة خبير بسيطة جداً.

ونشر نوام شازير وستة من زملائه الخطوة الكبيرة التالية في 23 يناير 2017. وتفيد خلاصتهم بـ «تحسينات في سعة النموذج تزيد على 1000 ضعف» مع خسائر طفيفة فقط في الكفاءة الحسابية على عناقيد وحدات المعالجة الرسومية الحديثة. وضمّت الطبقة التي بنوها حتى آلاف خبراء التغذية الأمامية، وتختار شبكة بوابة قابلة للتدريب تركيبة متفرقة منهم لكل مثال. وطبقوا واحدة بما يصل إلى 137 مليار معامل بين طبقات LSTM مكدسة (وهي نوع أقدم من شبكات اللغة)، وأفادوا بنتائج أفضل من أفضل ما نُشر بتكلفة حسابية أقل في معايير نمذجة اللغة والترجمة. وهذه النتائج من المؤلفين أنفسهم. ويضيف سرد Hugging Face أن العمل اصطدم بتكاليف اتصال عالية وتدريب غير مستقر.

تبسيطان: GShard وSwitch

تفيد ورقة يونيو 2020 عن GShard بتوسيع نموذج ترجمة متعدد اللغات بخبراء ذوي بوابات متفرقة إلى ما يتجاوز 600 مليار معامل، دُرّب على 2048 مسرِّع TPU v3 في 4 أيام للترجمة من 100 لغة إلى الإنجليزية.

وتبعتها Switch Transformers، لويليام فيدوس وباريت زوف وشازير، في 11 يناير 2021. وكان تغييرها الرئيسي تبسيط التوجيه. وتلاحظ Hugging Face أن التصاميم السابقة استخدمت خبيرين على الأقل لكل رمز، وأن Switch ترسل كل رمز إلى خبير واحد، ما يقلل عمل الموجِّه والاتصال وأحجام الدفعات مع الحفاظ، بحسب المؤلفين، على الجودة. وتفيد الورقة بتدريب مسبق أسرع حتى 7 مرات من نقطتي بدايتها T5-Base وT5-Large على العتاد نفسه، وبنموذج بتريليون معامل مع تسريع 4 مرات على T5-XXL. ويقول المؤلفون أيضاً إنهم دربوا نماذج متفرقة كبيرة بأرقام bfloat16 الأدنى دقة للمرة الأولى.

2024: Mixtral وDeepSeek تغيران الوصفة

أصدرت Mistral AI نموذج Mixtral 8x7B في 11 ديسمبر 2023 برخصة Apache 2.0، وتبعته ورقته في 8 يناير 2024. تضم كل طبقة 8 خبراء ويختار الموجِّه 2 لكل رمز. ولأن الخبراء يختلفون من رمز إلى آخر، تقول الورقة إن لكل رمز وصولاً إلى 47 مليار معامل لكنه يستخدم 13 مليار في خطوة معينة. ويعطي إعلان Mistral نفسه 46.7 مليار و12.9 مليار، وهما يُقرّبان إلى الرقمين نفسيهما، وتقارن Hugging Face السرعة بنموذج من 12 مليار معامل. وتقول Mistral إن Mixtral يعادل Llama 2 70B وGPT-3.5 أو يتفوق عليهما في معظم المعايير، وهذا ادعاء من الصانع وقيس على اختباراته التي اختارها.

والمجموع 47 مليار وليس 8 في 7 مليارات، أي 56 مليار، لأن كتل التغذية الأمامية فقط هي التي تُقسَّم إلى خبراء. أما الانتباه والأجزاء الأخرى فمشتركة، كما تشرح Hugging Face.

وبعد ثلاثة أيام من ورقة Mixtral ظهرت ورقة DeepSeekMoE في 11 يناير 2024. وأجرت تغييرين. قسّمت الخبراء إلى قطع أدق وفعّلت منها عدداً أكبر لكل رمز، وخصصت بعض الخبراء المشتركين لحمل المعرفة العامة كي يتخصص الخبراء الموجَّهون. وفي اختبارات الورقة، عادلت نسخة من 16 مليار معامل نموذج LLaMA2 7B باستخدام نحو 40% من الحوسبة، وعادلت نسخة أولية من 145 مليار معامل نموذج DeepSeek 67B باستخدام 28.5% منها، وربما أقل من ذلك حتى 18.2%. وهذه المقارنات من المؤلفين أنفسهم.

وجاء DeepSeek-V2 في 7 مايو 2024: 236 مليار معامل في المجموع، و21 مليار منها يُفعَّل لكل رمز، ونافذة سياق من 128 ألف رمز، و8.1 تريليونات رمز تدريب. وبالمقارنة بنموذج DeepSeek 67B الكثيف السابق، يفيد الفريق بتكلفة تدريب أقل بنسبة 42.5%، وذاكرة مفاتيح وقيم أصغر بنسبة 93.3%، وإنتاجية توليد تصل إلى 5.76 ضعف. وذاكرة المفاتيح والقيم هي ما يحتفظ به النموذج من الرموز السابقة أثناء الكتابة، ويأتي التخفيض من الميزة الثانية في الورقة، الانتباه الكامن متعدد الرؤوس (MLA)، الذي يضغط تلك الذاكرة إلى شكل مخزَّن أصغر.

نموذجا سارفام، المبنيان في الهند

تعرض مدونة سارفام في 6 مارس 2026 وبطاقتا النموذجين التصميم بالتفصيل. يستخدم كلا النموذجين طبقات خبراء متفرقة بـ 128 خبيراً، مع خبير مشترك واحد يعمل دائماً إضافة إلى الخبراء الموجَّهين.

النموذجالمعاملات الكليةالنشطة لكل رمزالخبراء الموجَّهون المستخدمون
Mixtral 8x7B (الورقة)47 مليار13 مليار2 من 8
DeepSeek-V2 (الورقة)236 مليار21 مليارتصميم DeepSeekMoE
Sarvam 30B (بطاقة النموذج)نحو 30 مليار2.4 مليار، دون التضمين6 من 128
Sarvam 105B (بطاقة النموذج)نحو 105 مليارات10.3 مليارات8 من 128

وتحسب البطاقة المعاملات النشطة في Sarvam 30B دون طبقة التضمين، أي جدول البحث الذي يحوّل الرموز إلى أرقام. وتعرض قوائم الملفات على Hugging Face 32 مليار معامل للنموذج 30B و106 مليارات للنموذج 105B، فأسماء النموذجين مقرَّبة.

ويختلف النموذجان في طريقة التعامل مع الانتباه. فالنموذج 30B يستخدم انتباه الاستعلام المجمَّع (Grouped Query Attention)، الذي تتشارك فيه عدة رؤوس انتباه مفاتيح وقيماً مخزنة (وتذكر البطاقة 4 رؤوس مفاتيح وقيم)، لتصغير الذاكرة. ويستخدم النموذج 105B الانتباه الكامن متعدد الرؤوس، وهي التقنية التي يستخدمها DeepSeek-V2 لضغطها، وتصفها سارفام بأنها تخفض الذاكرة أكثر للمدخلات الطويلة. واستخدم التدريب المسبق 16 تريليون رمز للنموذج 30B و12 تريليوناً للنموذج 105B.

وفي التوجيه، تقول سارفام إنها قيّمت الخبراء بدوال سيغمويد بدلاً من سوفتماكس المعتادة وأضافت حد انحياز للخبراء. والسبب الذي تذكره الشركة هو توازن أفضل بين الخبراء وانهيار أقل في التوجيه، وهو إخفاق تستأثر فيه قلة من الخبراء بمعظم حركة الرموز. ويصف مقال Hugging Face لعام 2023 موازنة الحمل بأنها إحدى مشكلات التصميم الصعبة، وقد عالجتها Switch Transformers بخسارة إضافية مبسطة تُضاف أثناء التدريب.

وأصدرت سارفام النموذجين برخصة Apache 2.0، مع الأوزان على AI Kosh وHugging Face. وتقول مدونتها إن النموذج 30B يشغّل منصتها للمحادثة Samvaad، وإن النموذج 105B يشغّل مساعدها Indus. وتفيد كذلك بأنه على رقاقات H100 يقدم النموذج 30B إنتاجية لكل وحدة معالجة رسومية تعادل 3 إلى 6 أضعاف خط أساس Qwen3 عند سرعات متطابقة لكل مستخدم. وهذا الرقم وادعاء الشركة بنتائج هي الأحدث في معايير اللغات الهندية هما من أقوال سارفام نفسها. أما الدرجات الخارجية للنموذج 105B فتغطيها تقريرنا عن مهمة IndiaAI، وإصدار المهمة الآخر لنموذج متفرق، Dhir 5B من ZenteiQ، في هذا المقال.

إلى أي مدى ذهبت الفكرة

يضم DeepSeek-V4.1-Flash، الذي كانت بطاقة نموذجه متاحة على Hugging Face Hub في 12 نوفمبر 2026، 552 مليار معامل أساس وسياقاً يصل إلى مليون رمز. وتقول البطاقة إن كل طبقة متفرقة تضم خبيراً مشتركاً واحداً و384 خبيراً موجَّهاً، مع 6 خبراء موجَّهين نشطين لكل رمز. أي 6 من 384 خبيراً موجَّهاً، نحو 1.6%، في حين يستخدم Mixtral ربع خبرائه ويستخدم 105B من سارفام 8 من 128. وتذكر البطاقة مدونة تدريب من 45 تريليون رمز ورخصة MIT. والنهج نفسه عند تريليون معامل تغطيه مقالنا عن Mistral Large 4.

ما لا يوفره التصميم

يجب أن يقيم كل خبير في الذاكرة مع أن قلة منهم فقط تعمل على كل رمز. فحجما الملفين، 32 مليار و106 مليارات معامل، المذكوران لنموذجي سارفام هما ما يجب أن تحمله الآلة. ويقول شرح Hugging Face لعام 2023 إن نموذجاً من فئة Mixtral يحتاج إلى ذاكرة فيديو تكفي لحمل المعاملات الـ 47 مليار كاملة، وإن مزيج الخبراء يناسب الخدمة عالية الإنتاجية عبر آلات كثيرة، بينما يكون النموذج الكثيف أفضل عند قلة الذاكرة وانخفاض الحركة. ويذكر أيضاً أن النماذج المتفرقة كانت عرضة للإفراط في الملاءمة عند الضبط الدقيق، وأن مكاسب إضافة الخبراء تتضاءل بعد 256 أو 512 منهم.

Share
Copied!

المصادر وقراءات إضافية

  1. Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
  2. arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
  3. arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
  4. arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
  5. Mistral AI: Mixtral of experts (11 December 2023)
  6. arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
  7. arXiv: Dai et al., DeepSeekMoE (11 January 2024)
  8. arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
  9. Hugging Face: Mixture of Experts Explained (11 December 2023)
  10. Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
  11. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
  12. Hugging Face: Sarvam-105B model card
  13. Hugging Face: Sarvam-30B model card
  14. Hugging Face: DeepSeek-V4.1-Flash model card

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#mixture of experts#sarvam ai#sarvam 105b#mixtral#deepseek#switch transformers#open-weight models#indiaai mission

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
نموذج DeepSeek V4.1-Flash مفتوح الأوزان بـ552 مليار معلمة، الذي صدر في 10 سبتمبر 2026، يخفّض ذاكرته المؤقتة لكل رمز إلى 890 بايتا، أي نحو ربع ما كان لسابقه
ذاكرة النموذج القصيرة المدى لمحادثة طويلة مكلفة في الاحتفاظ بها. وإصدار DeepSeek في سبتمبر يضغطها بحكم التصميم، ويقول تقريرها نفسه أين لا يزال النموذج متأخرا. هنا الآلية، والخط الزمني منذ 2024، وما تحقق منه الآخرون.
Sarvam Vision 2.1 يقرأ الإنجليزية واللغات الهندية الـ22 المدرجة في الجدول الثامن، ويضيف قراءة الخط اليدوي واستخراج حقول النماذج، وحصل على 87.3 في olmOCR-Bench ضمن اختبارات سارفام نفسها
نموذج من شركة في بنغالورو يقرأ الآن النماذج والجداول والخط اليدوي في 22 لغة هندية. منشور الإطلاق وصفحات الاختبارات العامة وقواعد الخطوط وراء المشكلة، مع تتبع كل درجة إلى الجهة التي أجرت الاختبار.
وجدت ورقة قوانين التحجيم من OpenAI عام 2020 أن خسارة النموذج تتراجع وفق قانون قوة على أكثر من سبع رتب من الحجم، وبيّنت ورقة Chinchilla من DeepMind عام 2022 أن نموذجا من 70 مليار معلمة يستطيع التفوق على نموذج من 280 مليارا بالحوسبة نفسها
يمكن مقايضة حجم النموذج ونصوص تدريبه وفاتورة حوسبته بعضها ببعض. ما قاسته كل ورقة، والأرقام التي طبعتها كل منهما، ومحاولة استنساخ واحدة، وما يقوله تقرير سلامة لعام 2026 عن مدى سريان هذه القواعد.
← كل المقالات