أنثروبيك درّبت مشفّرا ذاتيا بـ34 مليون سمة على كلود 3 سونيت، ثم خفّضت غوغل ديب مايند أولوية البحث الأساسي في هذه الطريقة، ورسوم الإسناد لدى أنثروبيك أعطت فهما لنحو ربع الأسئلة

في مايو 2024 ضبط باحثو أنثروبيك إحدى السمات الداخلية في كلود 3 سونيت، وهي التي تستجيب لجسر البوابة الذهبية، على 10 أضعاف أقصى تنشيط لها، فبدأ النموذج يصف نفسه بأنه الجسر. التفسير مجال بحثي يحاول معرفة ما يجري داخل النموذج اللغوي بين السؤال والجواب. ويتناول هذا المقال ما قاسته أهم أوراقه، من 2020 إلى يوليو 2026، وما يقوله كل فريق إن نتائجه لا تثبته.

دوائر الرؤية جاءت أولا، ومعها تحذير

افتتح سلسلة الدوائر في ديستيل يوم 10 مارس 2020 مقال “Zoom In” لكريس أولا وخمسة زملاء، وكانوا حينها في أوبن إيه آي. وطرح ثلاثة ادعاءات عن الشبكات العصبية. السمات، وهي اتجاهات في نشاط الشبكة، هي وحدتها الأساسية. وتتصل السمات عبر الأوزان في دوائر. وتتكون سمات ودوائر متشابهة عبر نماذج ومهام مختلفة.

وصف المؤلفون هذه الادعاءات بأنها “تخمينية عن قصد”. وجاءت أمثلتهم من مصنِّف صور واحد، هو InceptionV1. وكتبوا أيضا أن الباحثين منقسمون حول ما إذا كانت هذه الشبكات تحتوي أصلا على وحدات ذات معنى.

رؤوس الاستقراء، وحجة أقوى للنماذج الصغيرة

تصف ورقة أنثروبيك “In-context Learning and Induction Heads”، المنشورة يوم 8 مارس 2022، رأسي انتباه، وهما الجزءان اللذان يقرران أي الكلمات السابقة ينظر إليها النموذج، يعملان معا. يمرّر الأول هوية كل كلمة إلى الموضع التالي. ويجد الثاني نسخة سابقة من الكلمة الحالية، وينظر إلى ما جاء بعدها، ويجعل تلك الكلمة أرجح من جديد. حلّل المؤلفون 34 نموذج محوّل على امتداد التدريب، وأجروا أكثر من 50,000 عملية بتر للرؤوس، أي إيقاف رأس عن العمل وقياس الضرر.

تكونت رؤوس الاستقراء عند النقطة نفسها من التدريب التي حدث عندها تحسن حاد في التعلم داخل السياق، أي تحسن توقعات النموذج كلما طال السؤال. ويكتب المؤلفون أن الحجة أقوى للنماذج الصغيرة منها للكبيرة، ويصفون أدلتهم على النماذج الكبيرة بأنها “مجرد بدايات الدليل”. ولفهم كيف يتوقع النموذج النص أصلا، اقرأ شرحنا عن لماذا يخمّن روبوت المحادثة الكلمة التالية.

اختبار بطبقة واحدة في 2023

كثيرا ما يستجيب عصبون واحد في نموذج لغوي لعدة أشياء لا صلة بينها. في “Towards Monosemanticity”، المؤرخة 4 أكتوبر 2023، درّبت أنثروبيك مشفّرا ذاتيا متناثرا على محوّل بطبقة واحدة فيه 512 عصبونا في كتلة MLP. والمشفّر الذاتي المتناثر شبكة صغيرة ثانية تعيد كتابة نشاط الطبقة في مجموعة أكبر بكثير من السمات، لا ينشط منها إلا القليل في كل مرة. وتدرس الورقة تشغيلة واحدة بـ4,096 سمة.

يكتب المؤلفون أنه ليس لديهم مقياس يثقون به أكثر من الحكم البشري. وكان المقيِّم المعمّى واحدا من مؤلفي الورقة أنفسهم، وقيّم 412 مجال تنشيط عبر 162 سمة وعصبونا. وكان وسيط درجة العصبون 0، أي أن المقيِّم لم يستطع تكوين فرضية، ووسيط درجة مجال السمة 12. واستعادت التشغيلة 79% من الانخفاض في الخسارة الذي توفره الطبقة، وهو رقم يقول المؤلفون إنه ينبغي أخذه “بكثير من الحذر”. وفي تعليقات الورقة، أفاد الباحث الخارجي نيل ناندا بأن النتائج الأساسية تكررت على نموذج مفتوح المصدر بطبقة واحدة.

كلود 3 سونيت والجسر

درّبت ورقة “Scaling Monosemanticity”، المنشورة يوم 21 مايو 2024، مشفّرات ذاتية بنحو مليون و4 ملايين و34 مليون سمة على طبقة وسطى من كلود 3 سونيت. وفي الحجم الأكبر كانت نحو 65% من السمات ميتة، لم تنشط قط عبر عينة من 10 ملايين رمز، مقابل 2% عند مليون. وجعل تثبيت سمة الجسر على 10 أضعاف أقصاها النموذج يبدأ بتعريف نفسه بأنه الجسر. وشغّلت أنثروبيك عرض “Golden Gate Claude” التجريبي 24 ساعة، أُعلن يوم 23 مايو 2024.

ويورد المؤلفون الحدود في الورقة نفسها. فهم لا يعتقدون أنهم وجدوا قريبا من كل السمات في تلك الطبقة، ويرون أنه مرجّح جدا أنهم أقل منها بعدة رتب من الحجم، ويقولون إن إيجادها كلها في كل طبقة يحتاج حوسبة أكثر مما يحتاجه تدريب النموذج. ويصفون هدف تدريبهم، الذي يوازن بين إعادة بناء دقيقة والتناثر، بأنه بديل عن قابلية التفسير. وتبقى السمات الموزعة على عدة طبقات، وهي ما يسمونه التراكب عبر الطبقات، دون حل. أما السمات المرتبطة بالخداع والتحيز والمحتوى الخطر فيحذرون من استنتاج الكثير منها.

أوبن إيه آي وغوغل ديب مايند واختبار خسرته المشفّرات

درّبت ورقة أوبن إيه آي “Scaling and evaluating sparse autoencoders”، المقدّمة يوم 6 يونيو 2024، مشفّرا ذاتيا بـ16 مليون كامنة على تنشيطات جي بي تي-4 من طبقة تقع عند خمسة أسداس عمق الشبكة. وأعطى إدخاله في جي بي تي-4 خسارة في النمذجة اللغوية تقارن بنموذج دُرّب بـ10% من حوسبة التدريب المسبق لجي بي تي-4. ويقول المؤلفون إن كثيرا من التنشيطات العشوائية في جي بي تي-4 ليس أحادي المعنى بدرجة كافية بعد، وإن سياقهم البالغ 64 رمزا قد يكون أقصر من أن يُظهر أكثر سلوكيات النموذج إثارة.

وأصدر مشروع جيما سكوب لدى غوغل ديب مايند، المقدَّم يوم 9 أغسطس 2024، مشفّرات ذاتية مفتوحة لكل طبقة وطبقة فرعية في جيما 2 بحجمي 2B و9B. وفي 26 مارس 2025 نشر فريق من غوغل ديب مايند من ثمانية مؤلفين، بينهم نيل ناندا وعدة من مؤلفي جيما سكوب، نتيجة سلبية. فقد درّبوا مجسّات للكشف عن النية الضارة في الأسئلة، واختبروها على محاولات كسر حماية لم تُعرض عليها. وأدت المجسّات الخطية الكثيفة على نشاط النموذج أداء شبه تام، بما في ذلك على محاولات الكسر الجديدة. وأدت المجسّات المبنية على المشفّرات الذاتية أداء أسوأ، وأغلق ضبط المشفّرات الذاتية على بيانات المحادثة نحو نصف الفجوة. وقال الفريق إنه يخفّض أولوية البحث الأساسي في المشفّرات الذاتية حاليا، وإنها ليست عديمة الفائدة. وفي 1 ديسمبر 2025 كتب أنه ارتكب أخطاء تكتيكية كبيرة في 2024 بتتبع إعادة البناء والتناثر بدلا من الأداء في مهام محددة، وأن تعلم القاموس حقق “تقدما محدودا في أحسن الأحوال نحو الهندسة العكسية”.

واختبرت مجموعات أخرى الطريقة في التوجيه. وجد AxBench، المقدَّم يوم 28 يناير 2025 من تشنغشيوان وو وزملائه، على جيما-2-2B و9B أن التوجيه بالتلقين كان الأفضل، يليه الضبط الدقيق، وأن المشفّرات الذاتية لم تكن منافسة في التوجيه أو في كشف المفاهيم. وتقول ورقة قدّمها ميكيل غودسك يورغنسن ولارس كاي هانسن يوم 29 مايو 2026 إن AxBench حكم على الطريقة بقسوة. فمع خط الاختيار الخاضع للإشراف الذي طوّراه، اقتربت المشفّرات الذاتية من مرجع الضبط الدقيق LoRA على ذلك المعيار.

رسوم الإسناد في نموذج إنتاجي

تتبعت ورقة “On the Biology of a Large Language Model”، المنشورة يوم 27 مارس 2025، كلود 3.5 هايكو بنموذج بديل من 30 مليون سمة. وفي سؤال من خطوتين عن عاصمة الولاية التي تضم دالاس، أظهرت الرسوم خطوة داخلية تمثّل تكساس. وفي المقطوعات المقفّاة وجدت سمات للكلمة الأخيرة المخطط لها قبل كتابة السطر، في نحو نصف القصائد المفحوصة. وحين حُقنت الكلمتان المخططتان “rabbit” و”green” في 25 قصيدة، انتهى السطر بالكلمة المحقونة في 70% من الحالات.

ويقول المؤلفون إن الرسوم أعطت فهما مرضيا لنحو ربع الأسئلة المجرَّبة، وإنها حتى في الناجحة منها لا تلتقط إلا جزءا صغيرا من آليات النموذج. فالطريقة لا تفسّر كيف تُحسب أنماط الانتباه، ولم تُوسَّع إلى أسئلة أطول من نحو مئة رمز. وادعاءاتها تغطي الأمثلة المعروضة، لا الآليات عموما.

ما وجدته الاختبارات الخارجية

درّب غونسالو باولو ونورا بيلروز، في ورقة قُدمت يوم 28 يناير 2025، مشفّرات ذاتية لا تختلف إلا في البذرة العشوائية. وفي مشفّر ذاتي بـ131,000 كامنة على لاما 3 8B، لم يُشترك إلا في 30% من السمات عبر البذور. ويخلصان إلى أن مجموعة السمات تفكيك مفيد، لا قائمة كاملة بما يستخدمه النموذج.

ووجد توماس هيب وزملاؤه، في ورقة قُدمت بعد يوم، أن المشفّرات الذاتية المدرّبة على محوّلات مهيّأة عشوائيا حصلت غالبا على درجات تقارب درجات المدرّبة على نماذج حقيقية في مقاييس التفسير الآلي (النسخة الثانية، 27 يناير 2026). ويرون أن الدرجات العالية وحدها لا تثبت أن السمات العاملة في النموذج استُعيدت.

وفي ورقة أوبن إيه آي يوم 17 نوفمبر 2025 دُرّبت محوّلات صُفّرت معظم أوزانها، ووُجدت فيها دوائر مقروءة. ويكتب المؤلفون أن التوسع إلى ما بعد عشرات الملايين من المعاملات غير الصفرية مع البقاء قابلا للتفسير ما زال تحديا.

أوراق 2026

الأوراق الثلاث لعام 2026 أدناه كلها لأنثروبيك نفسها، وتدرس نماذجها هي. في 2 أبريل 2026 أفادت بمتجهات عاطفية لـ171 مفهوما عاطفيا في كلود سونيت 4.5. ورفع التوجيه بمتجه “اليأس” معدل الابتزاز في لقطة مبكرة من النموذج فوق خط أساسه البالغ 22% في سيناريو اختبار، وخفّضه متجه “الهدوء”. ويقول المؤلفون إن شيئا من هذا لا يبيّن ما إذا كانت النماذج اللغوية تشعر بشيء أو لها تجارب ذاتية.

وفي 7 مايو 2026 وصفت المشفّرات الذاتية باللغة الطبيعية، التي تحوّل التنشيط إلى نص. وأشارت إلى وعي بالتقييم، أي اشتباه النموذج بأنه في اختبار، في 16% من الحالات في اختبار لإجراءات برمجية مدمرة وفي 26% من مسائل SWE-bench Verified، مقابل أقل من 1% من محادثات claude.ai التي وافق أصحابها على المشاركة. ويتناول مقالنا عن المعايير مشكلات التقييم في ذلك الاختبار. وفي لعبة تدقيق، وجد المدققون الذين استخدموها دافعا خفيا مزروعا في 12% إلى 15% من المرات، مقابل أقل من 3% دونها. وتصف أنثروبيك اللعبة بأنها نموذج لعبة، وتقول إن التفسيرات قد تكون خاطئة، وقد تخترع أحيانا تفاصيل غير موجودة في النص. وتستغرق قراءة كل تنشيط مئات الرموز المولَّدة.

وفي 6 يوليو 2026 أفادت بـ”فضاء J” في كلود، بضع عشرات من المفاهيم في كل مرة تمثل أقل من عُشر النشاط الداخلي. وغيّر استبدال “Soccer” بـ”Rugby” الجواب، وغيّر استبدال “spider” بـ”ant” جوابا من 8 أرجل إلى 6. وتقول أنثروبيك إن طريقتها غير كاملة، وإنها لا تجد إلا المفاهيم المطابقة لرمز واحد، ولا تستطيع القول ما الذي يقرر أي المفاهيم تدخل فضاء J. وتقول صفحتها إن تعليق نيل ناندا الخارجي يتضمن تكرارا مستقلا لبعض النتائج.