Skip to content
يحتفظ Mamba بملخص جارٍ ثابت الحجم بدل أن يعيد الانتباه قراءة كل كلمة، وتعمل الآن هجائن من الاثنين في Granite 4.0 من IBM ونماذج Nemotron من NVIDIA وJamba وSaaras V4 من Sarvam
الذكاء الاصطناعي والتكنولوجيا

يحتفظ Mamba بملخص جارٍ ثابت الحجم بدل أن يعيد الانتباه قراءة كل كلمة، وتعمل الآن هجائن من الاثنين في Granite 4.0 من IBM ونماذج Nemotron من NVIDIA وJamba وSaaras V4 من Sarvam

رسم: tuput

العربية

يضم Granite 4.0-H-Small من IBM ست وثلاثين طبقة Mamba-2 وأربع طبقات انتباه فقط، وتقول IBM إن التصميم يخفض الذاكرة اللازمة للمدخلات الطويلة بأكثر من 70%. وتمتد الفكرة من ورقة عام 2021 اسمها S4 إلى Mamba في 2023 فهجائن من AI21 وZyphra وNVIDIA وIBM وSarvam.

· · 9 دقيقة قراءة

يضم Granite 4.0-H-Small من IBM، الصادر في 2 أكتوبر 2025 بترخيص Apache 2.0، 32 مليار معامل (وهي الأرقام القابلة للضبط التي يتعلمها النموذج في أثناء التدريب)، وتسرد بطاقته على Hugging Face ست وثلاثين طبقة Mamba-2 وأربع طبقات انتباه فقط. وتقول IBM إن التصميم يحتاج إلى ذاكرة أقل بأكثر من 70% من نماذج المحوِّل التقليدية حين يكون المدخل طويلا أو حين يُخدَم مستخدمون كثيرون في آن واحد.

Mamba طريقة لبناء نموذج لغوي لا يعيد قراءة كل كلمة سابقة. نشره ألبرت غو وتري داو في 1 ديسمبر 2023، وتأتي الآن نماذج تخلطه ببضع طبقات انتباه من AI21 وZyphra وNVIDIA وIBM، ومن Sarvam في الهند للتعرف على الكلام. وتتبع هذه المقالة الأوراق وصفحات الشركات خلف كل خطوة، وتشير إلى كل رقم للسرعة أو الذاكرة هو من الشركة المصنِّعة نفسها.

كم يكلّف الانتباه كلما طال النص

معظم روبوتات الدردشة محوِّلات، ولب المحوِّل هو الانتباه، وهو الخطوة التي تُقارَن فيها كل كلمة بالكلمات التي قبلها. ويشرح شرحنا عن ورقة المحوِّل لعام 2017 كيف يعمل ذلك.

وتظهر الكلفة كلما نما النص. فتقول ورقة Nemotron-H من NVIDIA إنه لتوليد رمز واحد (كلمة أو جزء من كلمة) تؤدي طبقة الانتباه الذاتي عملا يزداد بعدد الرموز التي رُئيت حتى الآن، وعليها كذلك أن تحتفظ بمخزن للنتائج السابقة، هو ذاكرة KV المؤقتة، ويتناسب حجمه مع طول النص. ويشرح مقالنا عن DeepSeek V4.1-Flash ذاكرة KV بالتفصيل. وتعبّر IBM عن الفكرة نفسها بطريقة أخرى: إذا تضاعف طول المدخل، فعلى المحوِّل أن يجري أربعة أضعاف الحسابات على المدخل كله.

دفتر ثابت الحجم

تخيّل قارئا يُسمح له بدفتر واحد ثابت الحجم. بعد كل كلمة يقرر القارئ ما يكتبه وما يمحوه، ولا ينظر أبدا إلى النص نفسه من جديد. والدفتر لا يكبر، فتكلّف كل كلمة جديدة الجهد نفسه سواء كان النص عشر كلمات أو مليونا. والثمن أن ما لم يحتفظ به الدفتر يضيع.

هذا التشبيه من عندنا. أما غو وداو فيصوغانه في ورقة Mamba على أنه ضغط للسياق في حالة أصغر: فالانتباه، كما يكتبان، فعّال وغير كفء لأنه لا يضغط السياق إطلاقا، بينما النموذج المتكرر ذو الحالة المحدودة كفء لكنه مقيَّد بمدى إحكام تلك الحالة لحفظ السياق. وفي نموذج فضاء الحالة، “الحالة” هي الدفتر.

S4 عام 2021: طبقات فضاء الحالة تبلغ تسلسلات طويلة جدا

تأتي نماذج فضاء الحالة من هندسة التحكم، وبحلول عام 2021 كان لها ضعف معروف. فقد كتب غو وغويل ورِه (ستانفورد) في ملخص ورقة S4 المنشورة في 31 أكتوبر 2021 أن النماذج التقليدية “تعاني في التوسع إلى تسلسلات طويلة جدا من 10000 خطوة أو أكثر”، وأن نهج فضاء الحالة السابق كان مكلفا جدا في الحساب والذاكرة بحيث لا يُستخدم عموما. وغيّر S4 طريقة إعداد الطبقة لتُحسَب بكفاءة أكبر بكثير.

ويذكر المؤلفون دقة 91% على CIFAR-10 التسلسلي (اختبار تصنيف صور يُقرأ بوصفه تسلسلا طويلا واحدا) دون زيادة للبيانات، وهي بمستوى ResNet ثنائي الأبعاد أكبر. ويذكرون أيضا حل Path-X، وهي مهمة بتسلسلات طولها 16,000 تفشل فيها كل الأعمال السابقة بحسب قولهم، وتوليدا أسرع 60 مرة من المحوِّلات في مهام نمذجة الصور واللغة مع سد جزء كبير من فجوة الجودة. وهذه نتائج المؤلفين.

Mamba عام 2023: ترك النموذج يختار ما يحتفظ به

كانت طبقة S4 تطبق القواعد الثابتة نفسها على كل مدخل. وتغيير غو وداو جعل معاملات الطبقة تعتمد على المدخل الحالي، بحيث يستطيع النموذج، بقولهما، “أن ينشر المعلومات أو ينساها انتقائيا” على امتداد التسلسل. وتقرن الورقة ذلك بخوارزمية واعية بالعتاد تحسب الطبقة بكفاءة على GPU (وحدة معالجة رسومية، الشريحة التي تشغّل معظم أعمال الذكاء الاصطناعي)، وبشبكة مبسطة لا تستخدم الانتباه ولا كتل التغذية الأمامية المعتادة.

وتذكر الورقة أن الذاكرة والحساب ينموان خطيا مع طول التسلسل في التدريب، وأن كل خطوة توليد تستغرق زمنا ثابتا لأنه لا توجد ذاكرة مؤقتة للعناصر السابقة. وفي اختبار السرعة، الذي أُجري على وحدة A100 80 GB واحدة بموجّه من 2,048 رمزا و128 رمزا مولَّدا، بلغ Mamba من 4 إلى 5 أضعاف إنتاجية الاستدلال (عدد الكلمات المنتجة في الثانية) لمحوِّل بحجم مماثل، جزئيا لأنه بلا ذاكرة KV مؤقتة استطاع استخدام دفعات أكبر بكثير. ويقرّب الملخص الرقم إلى 5 أضعاف. ويذكر المؤلفون كذلك أن Mamba بثلاثة مليارات معامل تفوق على محوِّلات بالحجم نفسه وجاراها بضعفيه حجما، في اختباراتهم. وقد أصدروا الشيفرة ونقاط التدريب.

Mamba-2 عام 2024: الانتباه ونماذج فضاء الحالة قريبان من بعضهما

تجادل ورقة داو وغو الثانية، المنشورة في 31 مايو 2024 بعنوان “Transformers are SSMs”، بأن العائلتين وثيقتا الصلة. فإطارهما “ثنائية فضاء الحالة” يربط بين نماذج فضاء الحالة وصيغ الانتباه عبر فئة من المصفوفات المنظَّمة. والنتيجة العملية هي Mamba-2، الذي يقول المؤلفان إن طبقته الأساسية أسرع من طبقة Mamba بمرتين إلى 8 مرات، وتستطيع أن تحمل ملخصا جاريا أكبر بكثير. ويذكران أن Mamba-2 بـ2.7 مليار معامل، المدرَّب على 300 مليار رمز من The Pile، وهي مجموعة نصوص مفتوحة، تفوق على Mamba الأصلي 2.8B وعلى نموذجي Pythia 2.8B و6.9B المدرَّبين على البيانات نفسها.

لماذا لا يكفي الدفتر وحده

الدفتر الثابت قد يفقد التفاصيل، ولهذا تُبقي الهجائن شيئا من الانتباه. واختبرت ورقة Jamba ذلك مباشرة. فعند 1.3 مليار معامل و250 مليار رمز تدريب، سجّل نموذج انتباه خالص ونموذج Mamba خالص ومزيج منهما ما يلي في IMDB، وهو اختبار لوسم مراجعات الأفلام بالإيجابية أو السلبية.

النموذجIMDBQuACNarrativeQA
انتباه فقط84.127.945.8
Mamba فقط48.820.227.7
انتباه وMamba مختلطان90.926.643.7

وQuAC وNarrativeQA اختباران للإجابة عن الأسئلة. ويذكر مؤلفو Jamba أن نموذج Mamba الخالص كثيرا ما أخل بصيغة الإجابة في IMDB، فرد بعبارات مثل “Very Good” أو “3/10” بدل الوسمين المسموح بهما، ويربطون ذلك بالتعلم في السياق، أي القدرة على التقاط مهمة من أمثلة في الموجِّه. وعند 7 مليارات معامل بعد 50 مليار رمز، وجدوا Mamba الخالص “منافسا جدا” لكنه متأخر قليلا عن الانتباه، والنموذج المختلط متقدما على الاثنين. ويؤكد تقرير Zamba2 وإعلان IBM الأمر نفسه، وهو أن نماذج فضاء الحالة الخالصة أقل جودة في التعلم في السياق.

واختبرت ورقة Mamba-2 كم من الانتباه يحتاج الهجين. ففي نموذج من 350 مليون معامل و48 طبقة، كانت الحيرة (perplexity)، وهي درجة تقيس مقدار دهشة النموذج من النص الحقيقي وكلما قلّت كان أفضل، 8.60 لـMamba-2 الخالص و8.68 لوصفة محوِّل كاملة و8.26 مع ست طبقات انتباه. ووجد المؤلفون أن كون نحو 10% من الطبقات انتباها هو الأفضل. ويقترحان، فرضيةً، أن طبقات فضاء الحالة تعالج التسلسل عموما بينما تعمل طبقات الانتباه كأداة بحث تستطيع القفز إلى رموز سابقة بدل إجبار النموذج على حشر كل شيء في حالته.

أربع هجائن بكلمات صانعيها

يعطي الجدول حصة الانتباه التي يذكرها كل مصدر. وتعدّ المصادر الطبقات بطرق مختلفة (فـNemotron-H مثلا يسرد طبقات التغذية الأمامية منفصلة)، فالحصص متقاربة لكنها ليست مقاييس متطابقة.

النموذجالتاريخالانتباه في الحزمة، كما يذكره المصدر
Jamba (AI21)28 مارس 2024طبقة انتباه واحدة لكل 7 طبقات Mamba
Zamba2 (Zyphra)22 نوفمبر 2024عمود فقري من Mamba-2 مع كتلة انتباه مشتركة أو اثنتين تُعاد استخدام أوزانهما
Nemotron-H (NVIDIA)4 أبريل 2025نحو 8% من الطبقات: 4 من 52 في نموذج 8B و10 من 118 في 56B
Granite 4.0-H (IBM)2 أكتوبر 20254 طبقات انتباه و36 طبقة Mamba-2 في الأحجام الهجينة الثلاثة كلها، بنسبة 9 إلى 1

يتناوب Jamba بين طبقات الانتباه وطبقات Mamba ويضيف مزيج الخبراء (تصميم يُوجَّه فيه كل رمز إلى بضع شبكات فرعية، وقد شرحناه في مقالتنا). وللنموذج المنشور 52 مليار معامل إجمالا، 12 مليارا منها نشطة في الوقت الواحد، ويدعم 256,000 رمز من السياق بترخيص Apache 2.0. ويضع جدول الورقة ذاكرة KV المؤقتة عند 256,000 رمز بأرقام من 16 بتا عند 4 غيغابايت لـJamba، مقابل 32 غيغابايت لـMixtral و128 غيغابايت لـLlama-2 6.7B. ويذكر المؤلفون أيضا ثلاثة أضعاف إنتاجية Mixtral عند 128,000 رمز على أربع وحدات A100. وتصف AI21 نموذج Jamba بأنه أول نموذج قائم على Mamba بمستوى الإنتاج، وهذا وصف الشركة نفسها.

ويأتي Zamba2 من Zyphra بأحجام 1.2 و2.7 و7.4 مليار معامل. ويقول التقرير إن الأوزان مفتوحة بترخيص Apache 2.0، وإن مجموعة بيانات التدريب (Zyda-2) مفتوحة كذلك، وإن النماذج دُرّبت على ما يصل إلى ثلاثة تريليونات رمز. وتقول Zyphra إن النماذج تجاري أو تتفوق على النماذج الرائدة مفتوحة الأوزان بحجمها مع مكاسب في زمن الاستجابة والإنتاجية واستهلاك الذاكرة، وهذه مقارنة الشركة نفسها.

وتقول ورقة Nemotron-H من NVIDIA إنها استبدلت معظم طبقات الانتباه بطبقات Mamba تحتاج إلى ذاكرة ثابتة لكل رمز مولَّد. وتذكر NVIDIA استدلالا أسرع حتى 3 أضعاف من محوِّلات بحجم مماثل بدقة مماثلة. واستخدم الاختبار مدخلا من 65,536 رمزا و1,024 رمزا مولَّدا على وحدات H100، وتنفيذا مبكرا من NVIDIA نفسها لـNemotron-H، وبرنامج vLLM للخدمة مع نماذج المقارنة. وللنموذج 56B قاست NVIDIA 2.4 ضعف الإنتاج لكل وحدة GPU مقارنة بـQwen-2.5-72B وLlama-3.1-70B. وتضيف الورقة أن المحوِّلات جرى تحسينها بكثافة طوال سنوات وأنها تتوقع مزيدا من التسريع لـNemotron-H.

وتستخدم عائلة Nemotron 3 اللاحقة من NVIDIA تصميم محوِّل-Mamba هجين بمزيج خبراء، بحسب صفحة العائلة (المنشورة في 15 ديسمبر 2025) والورقة البيضاء (24 ديسمبر 2025). وتسرد الصفحة سياقا يصل إلى مليون رمز وتصف نموذج Nano بأنه 31.6 مليار معامل إجمالا، منها 3.2 مليار نشطة. وتذكر NVIDIA 3.3 ضعف إنتاجية Qwen3-30B-A3B عند 8,000 رمز إدخال و16,000 إخراج على وحدة H200 واحدة. وتحمل الصفحة، التي قُرئت في 19 نوفمبر 2026، تحديثا يقول إن Nemotron 3 Ultra صدر ولا تعطي له تاريخا.

ولدى Granite 4.0 من IBM ثلاثة نماذج هجينة: H-Small (32 مليار معامل، 9 مليارات نشطة) وH-Tiny (7 مليارات، مليار نشط) وH-Micro (3 مليارات، كثيف)، إضافة إلى محوِّل تقليدي من 3 مليارات معامل للمنصات التي لا تستطيع تشغيل الهجائن بعد. وتقول IBM إن الهجائن لا تستخدم ترميزا موضعيا، وهو الإشارة المضافة التي تخبر المحوِّل بترتيب الكلمات، لأن Mamba يقرأ الرموز بالترتيب. وتقول IBM أيضا إن التصميم الهجين يسهم في الكفاءة، لكن معظم مكاسب دقة Granite 4.0 على Granite 3.3 تأتي من بيانات وأساليب تدريب أفضل، إذ إن نموذجها التقليدي 3B نفسه يتفوق على النموذج الأقدم 8B. ورقم الذاكرة 70% هو ادعاء IBM نفسها مقارنة بنماذج المحوِّل التقليدية.

Saaras V4 من Sarvam

نشرت Sarvam نموذج Saaras V4 في 25 سبتمبر 2026. ويقول منشورها إن نظام التعرف على الكلام يقرن مشفِّر صوت بمفكِّك نموذج لغوي من 3 مليارات معامل، موصوف بأنه “نموذج فضاء حالة هجين” دُرّب من الصفر داخليا. ولا يسمّي المنشور Mamba ولا التصميم الدقيق للطبقات، ويتيح Saaras V4 عبر واجهة REST وواجهة دفعات، ولا يصف إصدارا لأوزان النموذج. وتغطي مقالتنا عن Saaras V4 لغاته الاثنتين والعشرين ونتائج اختباراته.

ما لا تُظهره المصادر

كل رقم سرعة أعلاه هو من الشركة المصنِّعة نفسها وقيس على نموذج مختلف، وعلى عتاد مختلف، مقابل خطوط أساس مختلفة: 5 أضعاف في ورقة Mamba، ومن 2 إلى 8 أضعاف لطبقة Mamba-2، و3 أضعاف في Nemotron-H، و3.3 ضعف لـNemotron 3 Nano. وهي غير قابلة للمقارنة بعضها ببعض، ولا تجمعها هذه المقالة.

ولا تعطي أي من الصفحات التي فُتحت مقارنة مستقلة وجها لوجه بين هجين ومحوِّل خالص على مقياس أكبر نماذج اليوم، ولا تقول إن منتج دردشة من مختبر آخر يستخدم طبقات Mamba. وبنية Saaras V4 هي وصف Sarvam لنظامها نفسه. ويقول إعلان Granite 4.0 إن نماذجه دُرّبت على عينات يصل طولها إلى 512,000 رمز وجرى التحقق منها على مهام تصل إلى 128,000 رمز.

Share
Copied!

المصادر وقراءات إضافية

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
نشر ثمانية باحثين من غوغل ورقة الترانسفورمر في 12 يونيو 2017، وسجّل نموذجها الكبير 28.4 على مقياس BLEU في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام من التدريب على ثماني وحدات GPU
جولة في التصميم الكامن وراء روبوتات الدردشة اليوم، بالاعتماد على جداول الورقة نفسها ومثال غوغل نفسه عن كلمة عليها أن تنظر إلى نهر. وتتناول أيضا ما أبقت عليه النماذج اللاحقة من تصميم 2017 وما غيّرته وما أسقطته.
نموذج DeepSeek V4.1-Flash مفتوح الأوزان بـ552 مليار معلمة، الذي صدر في 10 سبتمبر 2026، يخفّض ذاكرته المؤقتة لكل رمز إلى 890 بايتا، أي نحو ربع ما كان لسابقه
ذاكرة النموذج القصيرة المدى لمحادثة طويلة مكلفة في الاحتفاظ بها. وإصدار DeepSeek في سبتمبر يضغطها بحكم التصميم، ويقول تقريرها نفسه أين لا يزال النموذج متأخرا. هنا الآلية، والخط الزمني منذ 2024، وما تحقق منه الآخرون.
نموذج سارفام ذو 105 مليارات معامل يحسب بـ 10.3 مليارات منها لكل رمز، بتصميم مزيج الخبراء الذي يمتد من ورقة 1991 إلى Mixtral وDeepSeek
موجِّه صغير يرسل كل كلمة إلى بضع شبكات فرعية من 128، فيظل معظم النموذج خاملاً مع أي كلمة. من أين جاء التصميم، وكيف تستخدمه Mixtral وDeepSeek وسارفام، وما الذي لا يوفره.
← كل المقالات