Skip to content
نشر ثمانية باحثين من غوغل ورقة الترانسفورمر في 12 يونيو 2017، وسجّل نموذجها الكبير 28.4 على مقياس BLEU في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام من التدريب على ثماني وحدات GPU
الذكاء الاصطناعي والتكنولوجيا

نشر ثمانية باحثين من غوغل ورقة الترانسفورمر في 12 يونيو 2017، وسجّل نموذجها الكبير 28.4 على مقياس BLEU في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام من التدريب على ثماني وحدات GPU

رسم: tuput

العربية

تخلّت ورقة 2017 عن قراءة الكلمات واحدة بعد أخرى، وجعلت كل كلمة في الجملة تنظر إلى كل كلمة أخرى في وقت واحد. وتفوّق نموذجها الكبير على أفضل نتائج سابقة في الترجمة من الإنجليزية إلى الألمانية بأكثر من نقطتين على BLEU، وتصف الجهات المطوِّرة لـLlama 3 وGemini 1.0 وDeepSeek-V3 وSarvam 105B نماذجها بأنها ترانسفورمر.

· · 9 دقيقة قراءة

في 12 يونيو 2017 نشر ثمانية باحثين ورقة بعنوان «الانتباه هو كل ما تحتاجه» (Attention Is All You Need) على خادم arXiv للأوراق التمهيدية. وصفت الورقة الترانسفورمر، وهو شبكة «تقوم على آليات الانتباه وحدها، وتستغني عن التكرار والالتفاف كليا» بحسب عبارة ملخصها. وسجّل نموذج الورقة الكبير 28.4 على مقياس BLEU، وهو مقياس معتمد لجودة الترجمة تدل فيه القيمة الأعلى على جودة أفضل، في اختبار WMT 2014 من الإنجليزية إلى الألمانية. ويقول الملخص إن ذلك تفوّق على أفضل النتائج السابقة، بما فيها المجموعات التجميعية من النماذج، بأكثر من نقطتين على BLEU، ويقول القسم 6.1 إن التدريب استغرق 3.5 أيام على ثماني وحدات GPU من طراز Nvidia P100.

والمؤلفون هم أشيش فاسواني ونعوم شازير ونيكي بارمار وجاكوب أوزكوريت وليون جونز وإيدن غوميز ولوكاش كايزر وإيليا بولوسوخين، مدرجين ضمن غوغل برين وغوغل ريسيرش وجامعة تورنتو. وتحمل الورقة حاشية تقول إن ترتيب الأسماء عشوائي وإن الثمانية أسهموا بالقدر نفسه. وعُرضت في مؤتمر أنظمة معالجة المعلومات العصبية، وكان يسمى حينها NIPS، في لونغ بيتش بولاية كاليفورنيا عام 2017 (وتدرجها صفحة وقائع المؤتمر في المجلد 30). ويتناول مقال كيف يُدرَّب نموذج لغوي كبير ما يحدث بعد اختيار المعمارية. أما هذا المقال فعن المعمارية نفسها.

لماذا كانت قراءة كلمة واحدة في كل مرة عنق زجاجة

قبل 2017 كانت أنظمة الترجمة الرائدة تستخدم الشبكات العصبية التكرارية. وتصف الورقة طريقة عملها: تمر الشبكة التكرارية على الكلمات بالترتيب وتنتج عند كل موضع ملخصا متجددا، يُحسب من الملخص السابق ومن الكلمة الحالية. ولأن كل خطوة تحتاج إلى التي قبلها، تقول الورقة إن هذا التصميم «يحول دون التوازي داخل أمثلة التدريب». فلم يكن ممكنا تشغيل خطوات الجملة الواحدة بالتوازي.

وتقدم تدوينة غوغل التي كتبها جاكوب أوزكوريت بتاريخ 31 أغسطس 2017 حالة ملموسة. فلكي تقرر الشبكة هل تعني كلمة «bank» في جملة «I arrived at the bank after crossing the…» ضفة نهر أم مصرفا، تحتاج إلى آخر كلمة في الجملة، «river» أو «road». وتقول التدوينة إن الشبكة التكرارية لا تستطيع الحسم إلا بعد قراءة كل كلمة بين «bank» و«river» خطوة بخطوة، وكلما زادت الخطوات اللازمة لقرار ما صار تعلمه أصعب على الشبكة. وتضيف أن وحدات GPU وTPU، وهي الرقائق المستخدمة في التدريب، بارعة في العمل المتوازي وضعيفة في العمل المتسلسل.

أما الشبكات الالتفافية، وهي التصميم الرئيسي الآخر، فأقل تسلسلا. وتلاحظ الورقة أن عدد الخطوات اللازمة لربط كلمتين متباعدتين في نموذجي ByteNet وConvS2S ما زال يزداد مع المسافة بينهما، خطيا في ConvS2S ولوغاريتميا في ByteNet.

الانتباه كان موجودا قبل الترانسفورمر

فكرة الانتباه سبقت الترانسفورمر وأُضيفت إلى الشبكات التكرارية. ففي 1 سبتمبر 2014 قدّم دزميتري بهدانو وكيونغهيون تشو ويوشوا بنجيو ورقة، صارت لاحقا عرضا شفهيا في مؤتمر ICLR 2015، عالجت نقطة ضعف في التصميم المعتاد. فقد كان المرمِّز ومفكّك الترميز المعتادان يضغطان الجملة المصدر كلها في متجه واحد ثابت الطول قبل أن يبدأ مفكّك الترميز في الترجمة. ورجّح المؤلفون أن هذا عنق زجاجة، وتركوا النموذج «يبحث بحثا مرنا» في الجملة المصدر عن المواضع المهمة لكل كلمة يكتبها. وأفادوا بجودة ترجمة تقارب أفضل نظام قائم على العبارات في ذلك الوقت، في الإنجليزية إلى الفرنسية.

وبعد عام اختبر منه-ثانغ لوونغ وهيو فام وكريستوفر مانينغ في ستانفورد نوعين من الانتباه في الترجمة بين الإنجليزية والألمانية. ويذكر ملخصهم مكسبا قدره 5.0 على BLEU مقارنة بأنظمة مماثلة بلا انتباه، ونموذجا مركّبا سجّل 25.9 على BLEU في مهمة WMT 2015 من الإنجليزية إلى الألمانية.

وتذكر ورقة الترانسفورمر كيف كان الانتباه يُستخدم عادة حينها: «في كل الحالات تقريبا إلا قليلا منها» كان يعمل إلى جانب شبكة تكرارية. وما اقترحه المؤلفون الثمانية هو الإبقاء على الانتباه وإزالة الجزء التكراري. وفي حاشية المساهمات بالورقة يُنسب إلى أوزكوريت اقتراح استبدال الشبكات التكرارية بالانتباه الذاتي.

كيف تنظر الكلمة إلى بقية الجملة

الانتباه الذاتي هو انتباه يُطبَّق داخل جملة واحدة. وتشرحه تدوينة غوغل بمثال «bank» نفسه. فلكي يحسب الترانسفورمر تمثيلا أفضل لكلمة «bank»، يقارن تلك الكلمة بكل كلمة أخرى في الجملة. وتنتج كل مقارنة درجة انتباه. وتحدد الدرجات مقدار ما تسهم به كل كلمة أخرى، فيمكن أن تنال «river» درجة عالية. ثم يأخذ النموذج متوسطا موزونا لتمثيلات الكلمات كلها ويمرّره عبر شبكة صغيرة أمامية التغذية لينتج التمثيل الجديد. ولأن كل كلمة ترى كل كلمة أخرى مباشرة، تقول التدوينة إن النموذج يستطيع أن ينتبه إلى «river» ويحسم القرار في خطوة واحدة.

وتسمّي الورقة أجزاء المقارنة. تربط دالة الانتباه استعلاما ومجموعة من أزواج المفتاح والقيمة بمخرج، والمخرج مجموع موزون للقيم. ويأتي وزن كل قيمة من مقارنة الاستعلام بمفتاح تلك القيمة. ومن طرق فهم ذلك أن كل كلمة تطرح سؤالا (الاستعلام)، وتعرض كل كلمة في الجملة وسما (المفتاح) ومحتوى (القيمة)، فتسهم الأوسمة الأكثر مطابقة بأكبر قدر من المحتوى. وتضرب نسخة الورقة الاستعلام في المفاتيح، وتقسم الناتج على الجذر التربيعي لحجم المفتاح، وتحوّل النتائج إلى أوزان مجموعها واحد.

والقسمة موجودة لسبب يذكره المؤلفون على هيئة ظن: فمع المفاتيح الكبيرة تكبر حواصل الضرب، وهذا يدفع دالة الترجيح إلى منطقة يكون التعلم فيها بطيئا جدا. كما أن مفكّك الترميز، الذي يكتب الترجمة كلمة بعد كلمة، يُخفي عن نفسه المواضع اللاحقة كي يعتمد التنبؤ على كلمات معروفة سلفا فقط.

وتعطي تدوينة غوغل مثالا ثانيا، هو جملتان تشير «it» فيهما إلى الحيوان في إحداهما وإلى الشارع في الأخرى. وتعتمد الترجمة إلى الفرنسية على جنس الاسم، وتقول التدوينة إن «animal» و«street» يختلفان في الجنس هناك. وبحسب رواية غوغل ترجم الترانسفورمر الجملتين ترجمة صحيحة في حين لم يفعل ذلك نموذج غوغل للترجمة المستخدم حينها، وأظهر رسم لأحد رؤوس الانتباه أن الانتباه الموجّه إلى كل اسم يتغير بتغير السياق. وهذا عرض من غوغل نفسها على زوج واحد من الجمل، وليس اختبارا مستقلا.

ثمانية رؤوس، وحيلة لترتيب الكلمات

يضيّع جمع الكلمات كلها في خليط واحد بعض التفاصيل، فتشغّل الورقة عدة عمليات انتباه جنبا إلى جنب وتسمي ذلك الانتباه متعدد الرؤوس. ويستخدم النموذج الأساسي ثمانية رؤوس. يعمل كل رأس على شريحة من 64 رقما من التمثيل المؤلف من 512 رقما، وتُضم النتائج في النهاية، فتبقى الكلفة الكلية قريبة من كلفة رأس واحد يعمل على العرض الكامل.

ويختبر الجدول 3 من الورقة هذا الاختيار على مجموعة تطوير (هي مجموعة اختبار الأخبار لعام 2013 لا لعام 2014). وسجّل رأس واحد أقل من أفضل إعداد بـ0.9 على BLEU، وانخفضت الجودة أيضا حين زاد عدد الرؤوس أكثر من اللازم. ويضيف المؤلفون في مناقشتهم للانتباه الذاتي أن الرؤوس المنفردة يبدو أنها تتعلم مهام مختلفة وأن كثيرا منها يبدو متصلا بنحو الجمل ومعناها. وهذه ملاحظة من فحص رسوم الانتباه، وليست برهانا.

والشبكة التي لا تكرار فيها لا تملك حسّا بترتيب الكلمات، لأن الكلمات كلها تُنظر معا. وعالج المؤلفون ذلك بإضافة معلومات الموضع إلى تمثيل كل كلمة، باستخدام موجات جيبية وجيبية تمامية بأطوال موجية مختلفة. وجرّبوا أيضا أن تتعلم النماذج المواضع بدلا من ذلك، وأعطت النسختان نتائج متقاربة جدا: 25.7 على BLEU مقابل 25.8 للنموذج الأساسي على مجموعة التطوير. وأبقوا على النسخة الجيبية لأنها قد تتعامل مع جمل أطول من أي جملة رآها النموذج في التدريب.

وهذا جزء من تصميم 2017 استبدلته النماذج اللاحقة. فتذكر تدوينة Sarvam في مارس 2026 التضمينات الموضعية الدوّارة بين ميزات نماذجها، وتقول ورقة Llama 3 من ميتا إن الشركة رفعت التردد الأساسي لتضميناتها الدوّارة إلى 500,000 لدعم سياقات أطول.

لماذا تدرّب أسرع

يقارن الجدول 1 من الورقة بين أنواع الطبقات. فطبقة الانتباه الذاتي تربط أي موضعين بعدد ثابت من العمليات المتسلسلة، بينما تحتاج الطبقة التكرارية إلى عدد يزداد مع طول الجملة. ودُرّب النموذج الأساسي في الورقة 100,000 خطوة، نحو 12 ساعة، على جهاز واحد بثماني وحدات GPU من طراز Nvidia P100. واستغرق النموذج الكبير 300,000 خطوة، أي 3.5 أيام. وتقول تدوينة غوغل إن التدريب تسارع بما يصل إلى رتبة من القدر، وهذا ادعاء من غوغل نفسها مستمد من تجاربها.

وكان النموذج صغيرا بمعايير ما بعده. يذكر الجدول 3 أن للنموذج الأساسي 65 مليون معلمة، وهي الأرقام القابلة للضبط داخل الشبكة، وللكبير 213 مليونا. أما النموذج الرائد Llama 3 من ميتا، الذي وُصف بعد سبع سنوات، فله 405 مليارات، أي نحو 1,900 ضعف.

وللانتباه الذاتي كلفته الخاصة. فمقارنة كل كلمة بكل كلمة أخرى تعني أن العمل في كل طبقة يزداد مع مربع طول الجملة، وتقول الورقة إن الانتباه الذاتي أرخص من الطبقة التكرارية فقط حين تكون الجملة أقصر من عرض التمثيل. واقترح المؤلفون، عملا للمستقبل، حصر الانتباه في جوار من الكلمات القريبة في المدخلات الطويلة جدا. وتذكر ورقة ميتا السبب نفسه لتأجيل التدريب على النصوص الطويلة: يزداد حساب الانتباه الذاتي تربيعيا مع طول التسلسل، ولذلك بلغ Llama 3 سياقه البالغ 128,000 رمز في المراحل الأخيرة من التدريب المسبق.

الأرقام، والرقم المختلف

نتائج الورقة الرئيسية على مجموعات newstest2014 من مهمة الترجمة WMT 2014. ففي الترجمة من الإنجليزية إلى الألمانية يُظهر الجدول 2 أن النموذج الكبير سجّل 28.4 على BLEU مقابل 26.36 لأفضل مشاركة سابقة، وهي مجموعة تجميعية من نماذج ConvS2S. وفي الإنجليزية إلى الفرنسية يذكر الملخص والجدول 2 القيمة 41.8 على BLEU لنموذج منفرد، بينما تقول جملة في القسم 6.1 من الورقة نفسها إنها 41.0. والجدول والملخص متفقان فيما بينهما والنص يختلف، فيُنقل الرقم هنا كما في الملخص مع الإشارة إلى التباين.

وجرّب المؤلفون النموذج أيضا في مهمة مختلفة، هي التحليل النحوي لمكونات الجملة بالإنجليزية، وهو يضع وسوما على البنية النحوية للجملة. وسجّل ترانسفورمر من أربع طبقات 91.3 على F1 حين دُرّب على بيانات وول ستريت جورنال وحدها، و92.7 مع بيانات إضافية شبه خاضعة للإشراف. وتقول الورقة إن هذا تفوّق على كل النماذج المنشورة سابقا باستثناء واحد، هو نحو الشبكة العصبية التكرارية. وتقول تدوينة غوغل إن الشبكة نفسها، مع تكييف قليل، تفوّقت على كل الطرق السابقة باستثناء واحدة.

والنتائج من المؤلفين أنفسهم، مقيسة بالأرقام المنشورة. وصدرت شيفرة الورقة في مكتبة tensor2tensor، وتعيد The Annotated Transformer من Harvard NLP تنفيذ النموذج سطرا بسطر في دفتر قابل للتشغيل.

ما بقي وما تغيّر في Llama وGemini وDeepSeek وSarvam

تقول خاتمة الورقة إن المؤلفين خططوا لمد الترانسفورمر إلى ما بعد النص، أي الصور والصوت والفيديو. وقالت تدوينة غوغل في 2017 إن العمل بدأ فعلا. وبحلول أكتوبر 2018 وصفت ورقة BERT من غوغل نموذجها بأنه مرمِّز ترانسفورمر ثنائي الاتجاه متعدد الطبقات، ووصفت GPT من OpenAI بأنه ترانسفورمر من اليسار إلى اليمين ينتبه فيه كل رمز إلى الرموز السابقة فقط. وتصنّف دورة Hugging Face النماذج التي تلت في عائلات شبيهة بـGPT وشبيهة بـBERT وعائلة التسلسل إلى تسلسل.

ويصف صانعو النماذج الكبيرة اليوم أعمالهم بالعبارات نفسها. تقول ورقة ميتا إن Llama 3 «يستخدم معمارية ترانسفورمر قياسية كثيفة» وإن مكاسبه تأتي أساسا من جودة البيانات وتنوعها وحجمها. واختارت ميتا نموذجا كثيفا بدلا من مزيج الخبراء حفاظا على استقرار التدريب. ومن تعديلاتها الصغيرة انتباه الاستعلام المجمّع بثمانية رؤوس للمفتاح والقيمة، لتقليص الذاكرة التي يحتفظ بها النموذج أثناء الكتابة. ويقول تقرير Gemini من غوغل إن نماذج Gemini «تُبنى فوق مفككات ترميز الترانسفورمر» مع تحسينات للتدريب المستقر ولرقائق TPU من غوغل، ويذكر منها الانتباه أحادي الاستعلام.

ويقول تقرير DeepSeek-V3 إن معماريته الأساسية تبقى ضمن إطار الترانسفورمر، مع انتباه كامن متعدد الرؤوس، وتصفه Sarvam بأنه شكل مضغوط من الانتباه يقلل استهلاك الذاكرة، وطبقة أمامية التغذية بمزيج الخبراء. وللنموذج 671 مليار معلمة إجمالا، يُستخدم منها 37 مليارا لكل رمز. وتصف Sarvam AI نموذجيها بـ30 مليار و105 مليارات معلمة بأنهما هيكل ترانسفورمر بمزيج الخبراء مع 128 خبيرا. ويستخدم نموذج 30B انتباه الاستعلام المجمّع ويستخدم 105B الانتباه الكامن متعدد الرؤوس. وتقول Sarvam إن كليهما دُرّب في الهند على قدرة حوسبة وفرتها مهمة IndiaAI وأُطلق برخصة Apache 2.0، كما تناول ذلك مقال مهمة IndiaAI والمقال عن بناء الهند للذكاء الاصطناعي بلغاتها. والترجمة، المهمة التي صُمم لها الترانسفورمر، هي أيضا موضوع مقال Bhashini وAI4Bharat، الذي يتناول نماذج الترجمة المفتوحة للغات الهند الثنتين والعشرين المدرجة في الجدول الدستوري.

وفي كل هذه النماذج تبقى طبقة الانتباه الذاتي من 2017 هي الجوهر، وتقع التغييرات في طريقة تخزين المفاتيح والقيم، وطريقة ترميز المواضع، وما يحل محل الطبقة الأمامية التغذية الواحدة. وكان لنموذج 2017 الكبير 6 طبقات و16 رأسا، وتعطي ورقة ميتا لـLlama 3 405B ما مقداره 126 طبقة و128 رأس انتباه.

Share
Copied!

المصادر وقراءات إضافية

  1. Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
  2. Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
  3. NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
  4. Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
  5. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
  6. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
  7. Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
  8. Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
  9. Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
  10. Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
  11. DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
  12. Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
  13. Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
  14. Hugging Face LLM Course: How do Transformers work?

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#transformer#attention is all you need#self-attention#neural machine translation#large language models#google research#sarvam ai#deep learning

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
وجدت ورقة قوانين التحجيم من OpenAI عام 2020 أن خسارة النموذج تتراجع وفق قانون قوة على أكثر من سبع رتب من الحجم، وبيّنت ورقة Chinchilla من DeepMind عام 2022 أن نموذجا من 70 مليار معلمة يستطيع التفوق على نموذج من 280 مليارا بالحوسبة نفسها
يمكن مقايضة حجم النموذج ونصوص تدريبه وفاتورة حوسبته بعضها ببعض. ما قاسته كل ورقة، والأرقام التي طبعتها كل منهما، ومحاولة استنساخ واحدة، وما يقوله تقرير سلامة لعام 2026 عن مدى سريان هذه القواعد.
درّبت Meta نموذج Llama 3 بحجم 405 مليارات معلمة على 15.6 تريليون رمز وبـ30.84 مليون ساعة GPU، وفضّل مقيّمو OpenAI البشر نموذجا مضبوطا من 1.3 مليار معلمة على GPT-3 ذي الـ175 مليار معلمة
خمس أوراق وبطاقة نموذج واحدة تشرح كل مرحلة من مراحل بناء النموذج الذي تقوم عليه روبوتات المحادثة. وهذه المراحل بالترتيب، مع المعلمات والرموز وساعات GPU ونتائج الاختبارات كما نشرتها المختبرات نفسها.
نموذج سارفام ذو 105 مليارات معامل يحسب بـ 10.3 مليارات منها لكل رمز، بتصميم مزيج الخبراء الذي يمتد من ورقة 1991 إلى Mixtral وDeepSeek
موجِّه صغير يرسل كل كلمة إلى بضع شبكات فرعية من 128، فيظل معظم النموذج خاملاً مع أي كلمة. من أين جاء التصميم، وكيف تستخدمه Mixtral وDeepSeek وسارفام، وما الذي لا يوفره.
← كل المقالات