Skip to content
يصنع Stable Diffusion، الذي صدر في 22 أغسطس 2022، صورة 512 في 512 من ضجيج عشوائي في نحو 50 خطوة لإزالة الضجيج، بفكرة نُشرت أول مرة في ورقة عام 2015 مستوحاة من الفيزياء
الذكاء الاصطناعي والتكنولوجيا

يصنع Stable Diffusion، الذي صدر في 22 أغسطس 2022، صورة 512 في 512 من ضجيج عشوائي في نحو 50 خطوة لإزالة الضجيج، بفكرة نُشرت أول مرة في ورقة عام 2015 مستوحاة من الفيزياء

رسم: tuput

العربية

ست أوراق بين 2015 و2022 نقلت فكرة واحدة، هي تعلّم عكس إضافة الضجيج ببطء، من بيانات بسيطة إلى أوامر نصية. ووضع إصدار Stability AI النتيجة على بطاقة رسوميات بذاكرة معلنة قدرها 6.9 غيغابايت، ويصف دليل Hugging Face عملية الخطوات الخمسين.

· · 8 دقيقة قراءة

أعلنت Stability AI الإصدار العام لـStable Diffusion في 22 أغسطس 2022 ونشرت الأوزان وبطاقة النموذج والشيفرة. وقالت الشركة إن استهلاك الذاكرة النهائي ينبغي أن يبلغ 6.9 غيغابايت من ذاكرة الرسوميات. ونشرت Hugging Face، التي عملت على الإصدار، دليلا في اليوم نفسه. وهو يصف ما يحدث حين يكتب المستخدم أمرا نصيا: يبدأ النموذج من ضجيج عشوائي في شبكة صغيرة من الأرقام، ويزيل منه الضجيج نحو 50 مرة وهو يقرأ الأمر، ثم يفك ترميز النتيجة إلى صورة بحجم 512 في 512 بكسل.

وقد ظهرت الطريقة وراء هذه الخطوات الخمسين في ورقة من مارس 2015 استعارت من الفيزياء. ويتتبعها هذا المقال عبر ست أوراق والإصدار نفسه. وكل رقم أدناه هو للمؤلفين أنفسهم، مقيسا على عتادهم ومجموعات بياناتهم. وتستخدم الأوراق مجموعات بيانات وإعدادات مختلفة، فلا تُقارن أي درجة بين ورقة وأخرى.

تدمير صورة ببطء، ثم تعلّم التراجع عن ذلك

قدّم جاشا سول-ديكشتاين وإريك ويس ونيرو ماهيسوارانثان وسوريا غانغولي ورقتهم إلى arXiv في 12 مارس 2015. ويسمّي عنوانها الديناميكا الحرارية غير المتزنة، وهي فيزياء الأنظمة التي تتغير لا التي استقرت. ويقول الملخص إن الفكرة الجوهرية، المستوحاة من الفيزياء الإحصائية غير المتزنة، هي تدمير البنية في البيانات ببطء عبر عملية انتشار أمامية، ثم تعلّم عملية عكسية تستعيدها.

لنأخذ المثال الجاري في دليل Hugging Face، صورة فوتوغرافية لرائد فضاء يمتطي حصانا. أضف قليلا من الضجيج العشوائي إلى الصورة، ثم قليلا آخر، وواصل حتى لا يبقى سوى تشويش. الاتجاه الأمامي لا يحتاج إلى تعلّم. وتُدرَّب شبكة عصبية على المهمة المعاكسة: بإعطائها نسخة أكثر ضجيجا قليلا من صورة، تنتج نسخة أنظف قليلا. ولصنع شيء جديد، يُبدأ من تشويش خالص وتُطبَّق الشبكة مرارا.

ودرّب مؤلفو 2015 نماذج بآلاف الطبقات أو الخطوات الزمنية. واختبروها على «لفة سويسرية» ثنائية الأبعاد (سحابة نقاط على شكل حلزون)، ومتتالية ثنائية، وأرقام مكتوبة بخط اليد من MNIST، وصور طبيعية صغيرة من مجموعات CIFAR-10 وbark وdead-leaves.

إزالة قليل من الضجيج، ألف مرة

نشر جوناثان هو وأجاي جاين وبيتر أبيل من جامعة كاليفورنيا في بيركلي ورقتهم في 19 يونيو 2020. ويكتبون أنه، على حد علمهم، لم يُظهر أحد بعد أن نماذج الانتشار تستطيع توليد عينات عالية الجودة، وأن نتائجهم تفعل. وعلى مجموعة CIFAR-10 من الصور الصغيرة، المولّدة دون أي وسم، يذكرون درجة Inception قدرها 9.46 ومسافة Frechet Inception Distance (FID، وهي درجة تعني فيها القيمة الأقل أن الصور المولّدة أقرب إحصائيا إلى الحقيقية) قدرها 3.17، ويصفونها بأنها الأحدث في وقتها. وعلى LSUN بحجم 256 في 256، وهي مجموعة صور لغرف نوم وكنائس وقطط، يذكرون جودة عينات مماثلة لـProgressiveGAN، وهو مولّد أسبق.

والوصفة قصيرة. تستخدم الورقة 1,000 خطوة وتضيف الضجيج بمقادير تنمو بزيادات متساوية من 0.0001 إلى 0.02 في الخطوة. وفي التدريب تختار الطريقة صورة وتختار خطوة عشوائية وتضيف المقدار المناسب من الضجيج وتطلب من الشبكة أن تتنبأ بالضجيج المضاف. ويبدأ أخذ العينات من ضجيج خالص. وفي كل خطوة من الألف تتنبأ الشبكة بالضجيج، ثم تطرحه عملية أخذ العينات وتضيف، عدا الخطوة الأخيرة، جرعة جديدة صغيرة من العشوائية.

والشبكة هي U-Net، نموذج صور يقلّص الصورة إلى ملخص خشن ثم يوسّعها من جديد، مع طبقات انتباه ذاتي بدقة 16 في 16. ويُغذّى رقم الخطوة بتضمين الموضع الجيبي من ورقة الترانسفورمر، وهو تصميم يقف أيضا وراء النماذج اللغوية الموضحة في كيف يُدرَّب نموذج لغوي كبير. ولنموذج CIFAR-10 نحو 35.7 مليون معامل، وهي الأرقام القابلة للضبط داخل الشبكة، وأتم التدريب في 10.6 ساعة على TPU v3-8، مسرّع من غوغل يقارنه المؤلفون بثمانية معالجات رسومية V100. واستغرق إنتاج دفعة من 128 صورة بحجم 256 في 256 ما مقداره 300 ثانية.

أخذ عينات أسرع، والفكرة نفسها معادلةً

ألف تمريرة متتالية بطيئة. وقاس جياميغ سونغ وتشينلين منغ وستيفانو إيرمون ذلك في ورقة 6 أكتوبر 2020: نحو 20 ساعة لأخذ 50,000 عينة بحجم 32 في 32 بكسل من DDPM على بطاقة Nvidia 2080 Ti، مقابل أقل من دقيقة لشبكة GAN، وهي النوع الأقدم من المولّدات التي تصنع الصورة في تمريرة واحدة. أما للصور بحجم 256 في 256 فيقدّرون الرقم بنحو 1,000 ساعة.

وحلّهم، نماذج الانتشار الضمنية لإزالة الضجيج أو DDIM، يبقي التدريب كما هو تماما ويغيّر فقط طريقة سحب العينات. ويذكر المؤلفون عينات مماثلة لنماذج الألف خطوة في 20 إلى 100 خطوة، أي تسريعا بين 10 و50 مرة، ويلاحظون أن زمن العينة يزداد خطيا مع عدد الخطوات.

وبعد سبعة أسابيع، في 26 نوفمبر 2020، أعاد يانغ سونغ وخمسة من المؤلفين المشاركين، بينهم سول-ديكشتاين من ورقة 2015، صياغة العملية معادلة تفاضلية عشوائية (معادلة فيها حركة عشوائية مدمجة) تمتد من البيانات إلى الضجيج، مع معادلة عكسية مقابلة تمتد من الضجيج عودة إلى البيانات. وبكلماتهم: «صنع الضجيج من البيانات سهل؛ أما صنع البيانات من الضجيج فهو النمذجة التوليدية.» ويكتبون أن الإطار يحتوي المقاربات السابقة القائمة على الدرجات وعلى الانتشار، ويذكرون أنهم ولّدوا للمرة الأولى صورا بحجم 1024 في 1024 من نموذج قائم على الدرجات.

جعل الصورة تتبع الكلمات

على مولّد الصور أن يتبع أمرا نصيا، واحتاج الانتشار إلى طريقة لذلك. الطريقة الأسبق، التوجيه بالمصنِّف، توجّه أخذ العينات بمصنِّف صور منفصل. وأظهر جوناثان هو وتيم ساليمانز، في ورقة نُشرت في 26 يوليو 2022 (وكانت نسخة قصيرة منها قد ظهرت في ورشة NeurIPS 2021)، أن ذلك ممكن دون مصنِّف.

وفي التوجيه من دون مصنِّف تُدرَّب شبكة واحدة على مهمتين معا. ففي نسبة من أمثلة التدريب يُستبدل الوسم أو الأمر النصي عشوائيا بعنصر نائب فارغ، فتتعلم الشبكة إزالة الضجيج بوجوده وبدونه. وعند أخذ العينات يُدمج التنبؤان، ويحدد وزن w مقدار ميل النتيجة نحو الأمر النصي. وعلى ImageNet بحجم 64 في 64 جرّب المؤلفون إسقاط الشرط باحتمال 0.1 و0.2 و0.5، ووجدوا 0.5 أسوأ باطراد من الاثنين الآخرين. ورفع الوزن يرفع جودة كل صورة ويخفض التنوع بين الصور.

وللطريقة كلفة في الوقت. فكل خطوة أخذ عينات تحتاج تمريرتين عبر الشبكة، واحدة مع الأمر وأخرى بدونه، ويسمّي المؤلفون ذلك عيبا محتملا.

ويستخدم Stable Diffusion هذه الطريقة. وتقول بطاقة النموذج v1-4 إن مرحلة تدريبه الأخيرة أسقطت الشرط النصي في 10 في المئة من الحالات، «لتحسين أخذ العينات بالتوجيه من دون مصنِّف.» ويعطي دليل Hugging Face أداة التحكم الموجهة للمستخدم باسم guidance_scale، بقيمة افتراضية 7.5، ويصف القيم من 7 إلى 8.5 بأنها جيدة عادة. ويحذّر من أن القيم الكبيرة جدا تعطي صورا قد تبدو جيدة لكنها أقل تنوعا.

العمل على لوحة أصغر

الانتشار في فضاء البكسلات مكلف. يفتتح روبن رومباخ وأندرياس بلاتمان ودومينيك لورنتس وباتريك إيسر وبيورن أومر ورقتهم في 20 ديسمبر 2021 بقولهم إن أقوى نماذج الانتشار كثيرا ما تستغرق مئات أيام المعالجات الرسومية لتُدرَّب. ويذكرون من 150 إلى 1,000 يوم V100 لنموذج سابق، ونحو خمسة أيام على A100 واحد لإنتاج 50,000 عينة من نموذج كهذا.

وعلاجهم أن يجري الانتشار في فضاء كامن، أي ملخص رقمي مضغوط للصورة. ويُدرَّب أولا مرمّز تلقائي منفصل، وهو زوج من الشبكات يقلّص صورة ثم يوسّعها من جديد. ثم يحدث الانتشار على الملخص الصغير، ويحوّل فاكّ الترميز الملخص النهائي إلى بكسلات. ويضيف المؤلفون أيضا طبقات انتباه متقاطع إلى U-Net ليتمكن النص أو مدخلات أخرى من توجيهها.

وعلى معالج NVIDIA A100 واحد، بتدريب 2 مليون خطوة على ImageNet بعدد المعاملات نفسه، وجدوا فجوة قدرها 38 نقطة FID بين الانتشار في فضاء البكسلات والانتشار بعامل ضغط 8. وتعزو الورقة نتائج العامل الصغير إلى ترك معظم ضغط التفاصيل غير المحسوسة لنموذج الانتشار نفسه.

ويستخدم Stable Diffusion عاملا قدره 8. وتقول بطاقة النموذج إنه يحوّل صورة بارتفاع H وعرض W بثلاث قنوات لونية إلى فضاء كامن بحجم H/8 في W/8 بأربع قنوات. وللصورة بحجم 512 في 512 هذه شبكة 64 في 64، ويسمّيها دليل Hugging Face نسبة ضغط مكاني قدرها 8 × 8 = 64. وبالقسمة البسيطة تصبح الأرقام الـ786,432 في الصورة 16,384 رقما في الفضاء الكامن، أي انخفاضا بمقدار 48 ضعفا في ما تتعامل معه الشبكة في كل خطوة.

ويُحوَّل الأمر النصي إلى أرقام بمرمّز النص في CLIP (نسخة ViT-L/14)، الذي تقول بطاقة النموذج إنه ثابت ومدرَّب مسبقا، فلا يُدرَّب مع بقية النموذج. ويصف Hugging Face الناتج بأنه كتلة أرقام بحجم 77 في 768 تقرؤها U-Net عبر الانتباه المتقاطع.

ما صدر في 22 أغسطس 2022

يذكر إعلان Stability AI فريقي القانون والأخلاقيات والتقنية في Hugging Face ومهندسي CoreWeave، وهي مزود سحابي. وصدر النموذج برخصة Creative ML OpenRAIL-M التي تصفها الشركة بأنها تتيح الاستخدام التجاري وغير التجاري مع تحميل المستخدم مسؤولية الاستخدام الأخلاقي والقانوني واشتراط مرافقة الرخصة لأي توزيع. وأُدرج مصنِّف أمان افتراضيا لإزالة المخرجات غير المرغوبة. وكانت الأوزان الموصى بها v1.4، وقالت الشركة إن رقائق NVIDIA موصى بها، مع دعم قادم لرقائق AMD وApple M1 وM2. وتُظهر الصفحة التي نشرتها الشركة التاريخ «Aug 22» دون سنة، ويحمل دليل Hugging Face عن الإصدار نفسه التاريخ 22 أغسطس 2022.

وتسمّي بطاقة النموذج روبن رومباخ وباتريك إيسر مطورين وتقول إن Stable Diffusion v1 دُرّب على LAION-2B(en) ومجموعات جزئية منه. وتصف ورقة LAION-5B في 16 أكتوبر 2022 5.85 مليار زوج من الصور والنصوص رُشّحت بـCLIP، منها 2.32 مليار بنص إنجليزي. وفي العتاد تذكر البطاقة 32 × 8 معالجات A100، وفي تقدير انبعاثاتها 150,000 ساعة على بطاقات A100 PCIe 40GB في منطقة لدى Amazon Web Services في شرق الولايات المتحدة، وتقدّرها بـ11,250 كيلوغراما من مكافئ ثاني أكسيد الكربون. وهذه تقديرات البطاقة نفسها.

وللخطوات أهمية عملية. ففي دليل Hugging Face القيمة الافتراضية 50 خطوة لإزالة الضجيج، وتشغيل بـ15 خطوة أبقى البنية العامة نفسها لكن ظهرت مشكلات في بزة رائد الفضاء وشكل الحصان.

ما تقول بطاقة النموذج إنه لا يستطيعه

يقول دليل Hugging Face إن الإصدارات اللاحقة 1.5 و2 و2.1 تعمل بتعديلات برمجية دنيا. ويصف هذا المقال v1-4 والأوراق حتى 2022 فقط. وبطاقة v1-4، التي كتبها رومباخ وإيسر، صريحة في حدود هذا الإصدار. فالنموذج لا يحقق واقعية فوتوغرافية كاملة ولا يستطيع تقديم نص مقروء. ولا يؤدي جيدا في المهام التركيبية مثل «مكعب أحمر فوق كرة زرقاء»، وقد لا تُولَّد الوجوه والأشخاص على نحو سليم.

وتقول البطاقة إن النموذج دُرّب أساسا بعناوين إنجليزية ويعمل بصورة أقل جودة في اللغات الأخرى، وإن المرمّز التلقائي يفقد بعض المعلومات. وتذكر كذلك أن البيانات لم تُزل منها المكررات، فبعض الصور التي تظهر مرارا في مجموعة التدريب محفوظة، وتشير إلى أداة بحث عامة للتحقق. وتضيف أن مجموعة التدريب تضم مواد للبالغين، وتصف البطاقة تلك المجموعة بأنها غير صالحة لاستخدام المنتجات دون آليات أمان إضافية. وسؤال مشروعية التدريب على بيانات كهذه تحسمه المحاكم، كما تُظهر ثلاثة أحكام لعام 2026 بشأن التدريب. وتدرج البطاقة انتحال الشخصية والتضليل بين الاستخدامات السيئة؛ وقواعد التزييف بالذكاء الاصطناعي في الانتخابات تتناولها هذه النظرة إلى لجنة الاتصالات الفيدرالية والاتحاد الأوروبي والهند.

واستخدم أخذ العينات في 2020 ألف خطوة لكل صورة يصنعها. ويصف دليل Hugging Face في 22 أغسطس 2022 خمسين خطوة بأنها كافية عادة لصورة عالية الجودة بحجم 512 في 512.

Share
Copied!

المصادر وقراءات إضافية

  1. Sohl-Dickstein, Weiss, Maheswaranathan and Ganguli: Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arXiv:1503.03585, 12 March 2015)
  2. Ho, Jain and Abbeel: Denoising Diffusion Probabilistic Models (arXiv:2006.11239, 19 June 2020; NeurIPS 2020)
  3. Song, Meng and Ermon: Denoising Diffusion Implicit Models (arXiv:2010.02502, 6 October 2020; ICLR 2021)
  4. Song, Sohl-Dickstein, Kingma, Kumar, Ermon and Poole: Score-Based Generative Modeling through Stochastic Differential Equations (arXiv:2011.13456, 26 November 2020; ICLR 2021)
  5. Ho and Salimans: Classifier-Free Diffusion Guidance (arXiv:2207.12598, 26 July 2022)
  6. Rombach, Blattmann, Lorenz, Esser and Ommer: High-Resolution Image Synthesis with Latent Diffusion Models (arXiv:2112.10752, 20 December 2021; CVPR 2022)
  7. Stability AI: Stable Diffusion Public Release (22 August)
  8. CompVis and Stability AI: Stable Diffusion v1-4 model card (Hugging Face)
  9. Patil, Cuenca, Lambert and von Platen, Hugging Face: Stable Diffusion with Diffusers (22 August 2022)
  10. Schuhmann et al.: LAION-5B, an open large-scale dataset for training next generation image-text models (arXiv:2210.08402, 16 October 2022)

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#diffusion models#stable diffusion#generative ai#image generation#latent diffusion#classifier-free guidance#ddpm#stability ai

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
قطعت المركبة الجوالة بيرسيفيرانس 456 مترا عبر فوهة جيزيرو يومي 8 و10 ديسمبر 2025 على نقاط مسار صاغها نموذج ذكاء اصطناعي وراجعها مهندسو ناسا
مركبة جوالة تبعد عن الأرض في المتوسط 225 مليون كيلومتر اتبعت مسارا رسمه نموذج لغوي درس صورا مدارية، وأقره أولا محاكي فريق المركبة. من فعل ماذا، وبكلمات من، وما الذي تُظهره الأرقام وما الذي لا تُظهره.
العاملون الشباب في الوظائف المعرّضة للذكاء الاصطناعي أدنى بـ19% مما كانوا سيكونون عليه، بحسب دراسة من ستانفورد لملايين سجلات الرواتب، ويقول مؤلفوها إن ذلك لا يثبت أن الذكاء الاصطناعي هو السبب
عبر ملايين سجلات الرواتب لدى ADP، يتأخر الشباب في الوظائف التي يجيدها الذكاء الاصطناعي أكثر عن أقرانهم. أما هل الذكاء الاصطناعي هو السبب فهو الأمر الوحيد الذي يمتنع المؤلفون عن ادعائه.
تشترط قواعد الأكاديمية للدورة 99 من الأوسكار أن يكون السيناريو من تأليف بشر وأن يؤدي الأدوار التمثيلية بشر، فيما لا تعزز أدوات الذكاء الاصطناعي فرص الترشح ولا تضر بها
نص الكتيب فقرة فقرة، مع صياغة أبريل 2025 التي يبني عليها، وتعليقات الأكاديمية نفسها، وأدوات التعلم الآلي التي تعترف بها استوديوهات المؤثرات وجوائز الأكاديمية العلمية والتقنية.
← كل المقالات