अँथ्रॉपिकने Claude 3 Sonnet वर ३४ दशलक्ष फीचरचा ऑटोएन्कोडर प्रशिक्षित केला, गुगल डीपमाइंडने नंतर त्याच पद्धतीवरील मूलभूत संशोधनाला प्राधान्यक्रमातून मागे टाकले, आणि अँथ्रॉपिकच्या ॲट्रिब्यूशन ग्राफनी सुमारे एक चतुर्थांश प्रॉम्प्टवरच अंतर्दृष्टी दिली

मे २०२४ मध्ये अँथ्रॉपिकच्या संशोधकांनी Claude 3 Sonnet मधील एक अंतर्गत फीचर, जे गोल्डन गेट ब्रिजला प्रतिसाद देते, त्याच्या कमाल सक्रियतेच्या १० पट केले, आणि मॉडेल स्वतःचे वर्णन पूल म्हणून करू लागले. इंटरप्रिटेबिलिटी हे संशोधनक्षेत्र आहे जे प्रॉम्प्ट आणि उत्तर यांच्यामध्ये भाषा मॉडेलच्या आत काय घडते ते शोधण्याचा प्रयत्न करते. हा लेख २०२० पासून जुलै २०२६ पर्यंत त्याच्या मुख्य शोधनिबंधांनी काय मोजले, आणि प्रत्येक चमूच्या म्हणण्यानुसार त्यांचे निकाल काय दाखवत नाहीत, ते सांगतो.

आधी आले व्हिजन सर्किट, एका इशाऱ्यासह

डिस्टिलची सर्किट्स मालिका १० मार्च २०२० रोजी ख्रिस ओला आणि पाच सहकाऱ्यांच्या “Zoom In” ने सुरू झाली, ते तेव्हा OpenAI मध्ये होते. त्यात न्यूरल नेटवर्कबद्दल तीन दावे होते. फीचर, म्हणजे नेटवर्कच्या हालचालीच्या दिशा, हे त्याचे मूलभूत एकक आहे. फीचर वेटद्वारे जोडले जाऊन सर्किट बनवतात. सारखी फीचर आणि सर्किट वेगवेगळ्या मॉडेलांत आणि कामांत तयार होतात.

लेखकांनी या दाव्यांना “जाणीवपूर्वक अटकळीचे” म्हटले. त्यांची उदाहरणे एकाच इमेज क्लासिफायर, InceptionV1, मधून आली होती. अशा नेटवर्कमध्ये अर्थपूर्ण एकके असतात की नाही यावर संशोधकांत मतभेद होते, असेही त्यांनी लिहिले.

इंडक्शन हेड, आणि लहान मॉडेलांसाठी अधिक भक्कम बाजू

अँथ्रॉपिकचा “In-context Learning and Induction Heads”, ८ मार्च २०२२ रोजी प्रसिद्ध, दोन अटेन्शन हेड एकत्र काम करतात याचे वर्णन करतो. अटेन्शन हेड म्हणजे मॉडेलचे ते भाग जे ठरवतात की आधीच्या कोणत्या शब्दांकडे पाहायचे. एक हेड प्रत्येक शब्दाची ओळख पुढच्या जागेपर्यंत पोहोचवतो. दुसरा सध्याच्या शब्दाची आधीची प्रत शोधतो, त्यानंतर काय आले होते ते पाहतो, आणि तोच शब्द पुन्हा अधिक संभाव्य करतो. लेखकांनी प्रशिक्षणाच्या काळात ३४ ट्रान्सफॉर्मर मॉडेलांचे विश्लेषण केले आणि ५०,००० हून अधिक हेड ॲब्लेशन चालवले, म्हणजे एक हेड बंद करून होणारे नुकसान मोजले.

प्रशिक्षणात इंडक्शन हेड त्याच टप्प्यावर तयार झाले जेव्हा इन-कॉन्टेक्स्ट लर्निंगमध्ये तीव्र सुधारणा झाली, म्हणजे प्रॉम्प्ट जसा लांब होतो तसे मॉडेलचे अंदाज सुधारतात. लेखक लिहितात की ही बाजू मोठ्या मॉडेलांपेक्षा लहान मॉडेलांसाठी अधिक भक्कम आहे आणि मोठ्या मॉडेलांबद्दलच्या त्यांच्या पुराव्याला ते “पुराव्याची फक्त सुरुवात” म्हणतात. मॉडेल मुळात मजकुराचा अंदाज कसा लावते यासाठी आमचा चॅटबॉट पुढचा शब्द अंदाजाने सांगतो हा स्पष्टीकरणात्मक लेख पाहा.

२०२३ मधील एक-थराची चाचणी

भाषा मॉडेलमधील एकच न्यूरॉन अनेकदा एकमेकांशी संबंध नसलेल्या अनेक गोष्टींना प्रतिसाद देतो. ४ ऑक्टोबर २०२३ च्या “Towards Monosemanticity” मध्ये अँथ्रॉपिकने ५१२ न्यूरॉन असलेल्या MLP ब्लॉकच्या एक-थराच्या ट्रान्सफॉर्मरवर स्पार्स ऑटोएन्कोडर प्रशिक्षित केला. स्पार्स ऑटोएन्कोडर म्हणजे दुसरे छोटे नेटवर्क, जे एका थराची हालचाल खूप मोठ्या फीचरच्या संचात पुन्हा लिहिते, ज्यातील फक्त काही एका वेळी सक्रिय असतात. शोधनिबंध ४,०९६ फीचरच्या एका रनचा अभ्यास करतो.

माणसाच्या निर्णयापेक्षा अधिक विश्वास ठेवावा असे कोणतेही मापदंड आपल्याकडे नाही, असे लेखक लिहितात. त्यांचे अंधपणे मूल्यमापन करणारे मूल्यांकनकर्ते शोधनिबंधाच्या लेखकांपैकीच एक होते, ज्यांनी १६२ फीचर आणि न्यूरॉनमधील ४१२ सक्रियता-अंतरांना गुण दिले. मध्यक न्यूरॉनला ० मिळाले, म्हणजे मूल्यांकनकर्त्याला कोणतेही गृहीतक बांधता आले नाही, आणि मध्यक फीचर-अंतराला १२ मिळाले. त्या थराने दिलेल्या नुकसान-घटीपैकी ७९% या रनने परत मिळवली, हा आकडा “मोठ्या चिमूटभर मिठासह” घ्यावा असे लेखक म्हणतात. शोधनिबंधावरील टिप्पण्यांत बाहेरचे संशोधक नील नांदा यांनी नोंदवले की मूळ निकाल एका ओपन-सोर्स एक-थराच्या मॉडेलवर पुन्हा मिळाले.

Claude 3 Sonnet आणि पूल

२१ मे २०२४ रोजी प्रसिद्ध झालेल्या “Scaling Monosemanticity” ने Claude 3 Sonnet च्या मधल्या थरावर सुमारे १ दशलक्ष, ४ दशलक्ष आणि ३४ दशलक्ष फीचरचे ऑटोएन्कोडर प्रशिक्षित केले. सर्वात मोठ्या आकारात सुमारे ६५% फीचर डेड होते, म्हणजे १० दशलक्ष टोकनच्या नमुन्यात ती कधीच सक्रिय झाली नाहीत; १ दशलक्षावर हे प्रमाण २% होते. पूल-फीचर त्याच्या कमालीच्या १० पट बांधून ठेवल्यावर मॉडेल स्वतःला पूल म्हणून ओळखू लागले. अँथ्रॉपिकने २४ तासांसाठी “Golden Gate Claude” डेमो चालवला, ज्याची घोषणा २३ मे २०२४ रोजी झाली.

लेखक त्याच शोधनिबंधात मर्यादा सांगतात. त्या थरातील सर्व फीचरच्या जवळपासही आपण पोहोचलो आहोत यावर त्यांचा विश्वास नाही, अनेक परिमाणक्रमांनी मागे असणे अगदी शक्य आहे असे ते मानतात, आणि प्रत्येक थरातील सर्व फीचर शोधायला मॉडेल प्रशिक्षित करण्यापेक्षा जास्त कम्प्यूट लागेल असे म्हणतात. अचूक पुनर्रचना आणि विरळता यांचा समतोल साधणाऱ्या त्यांच्या प्रशिक्षण-उद्दिष्टाला ते इंटरप्रिटेबिलिटीचा प्रॉक्सी म्हणतात. अनेक थरांत पसरलेली फीचर, ज्यांना ते क्रॉस-लेअर सुपरपोझिशन म्हणतात, ती अजून सुटलेली नाहीत. फसवणूक, पक्षपात आणि धोकादायक मजकुराशी जोडलेल्या फीचरबद्दल, त्यावरून फार काही अनुमान काढू नये असा इशारा ते देतात.

OpenAI, गुगल डीपमाइंड आणि ऑटोएन्कोडर हरलेली चाचणी

६ जून २०२४ रोजी सादर झालेल्या OpenAI च्या “Scaling and evaluating sparse autoencoders” ने GPT-4 च्या नेटवर्कमध्ये सहापैकी पाच भाग आत असलेल्या थरातील ॲक्टिव्हेशनवर १६ दशलक्ष लेटंटचा ऑटोएन्कोडर प्रशिक्षित केला. तो GPT-4 मध्ये बसवल्यावर भाषा-मॉडेलिंगमधील नुकसान GPT-4 च्या प्रीट्रेनिंग कम्प्यूटच्या १०% वर प्रशिक्षित केलेल्या मॉडेलशी तुलनीय आले. लेखक म्हणतात की GPT-4 मधील अनेक यादृच्छिक ॲक्टिव्हेशन अजून पुरेशी मोनोसेमँटिक नाहीत आणि त्यांचा ६४ टोकनचा कॉन्टेक्स्ट मॉडेलचे सर्वात मनोरंजक वर्तन दाखवायला कदाचित खूप छोटा आहे.

गुगल डीपमाइंडचा Gemma Scope, ९ ऑगस्ट २०२४ रोजी सादर, याने Gemma 2 2B आणि 9B च्या प्रत्येक थरासाठी आणि उपथरासाठी खुले ऑटोएन्कोडर प्रसिद्ध केले. २६ मार्च २०२५ रोजी नील नांदा आणि Gemma Scope च्या अनेक लेखकांसह आठ लेखकांच्या गुगल डीपमाइंड चमूने एक नकारात्मक निकाल प्रसिद्ध केला. त्यांनी प्रॉम्प्टमधील हानिकारक हेतू ओळखण्यासाठी प्रोब प्रशिक्षित केले, आणि ते राखून ठेवलेल्या जेलब्रेकवर तपासले. मॉडेलच्या हालचालीवरचे डेन्स लिनिअर प्रोब जवळजवळ अचूक चालले, नव्या जेलब्रेकवरही. ऑटोएन्कोडर-आधारित प्रोब वाईट चालले, आणि चॅट डेटावर ऑटोएन्कोडर फाइन-ट्यून केल्याने सुमारे निम्मी दरी भरून निघाली. चमूने सांगितले की सध्या ते ऑटोएन्कोडरच्या मूलभूत संशोधनाला प्राधान्यक्रमात मागे ठेवत आहेत आणि ऑटोएन्कोडर निरुपयोगी नाहीत. १ डिसेंबर २०२५ रोजी त्यांनी लिहिले की ठरवलेल्या कामांतील कामगिरीऐवजी पुनर्रचना आणि विरळता यांचा मागोवा घेऊन २०२४ मध्ये त्यांनी मोठ्या डावपेचात्मक चुका केल्या, आणि डिक्शनरी लर्निंगने रिव्हर्स-इंजिनिअरिंगच्या दिशेने “फार तर मर्यादित प्रगती” केली आहे.

इतर गटांनी ही पद्धत स्टीअरिंगवर तपासली. Zhengxuan Wu आणि सहकाऱ्यांनी २८ जानेवारी २०२५ रोजी सादर केलेल्या AxBench मध्ये Gemma-2-2B आणि 9B वर आढळले की प्रॉम्प्टिंगने सर्वोत्तम स्टीअर केले, त्यानंतर फाइन-ट्यूनिंगने, आणि स्टीअरिंगमध्ये किंवा संकल्पना ओळखण्यात ऑटोएन्कोडर स्पर्धात्मक नव्हते. Mikkel Godsk Jørgensen आणि Lars Kai Hansen यांनी २९ मे २०२६ रोजी सादर केलेला शोधनिबंध म्हणतो की AxBench ने या पद्धतीचा कठोर न्याय केला. त्यांच्या सुपरवाइज्ड फीचर-निवड पाइपलाइनने त्या बेंचमार्कवर ऑटोएन्कोडर LoRA फाइन-ट्यूनिंगच्या संदर्भ-पातळीच्या जवळ आले.

प्रॉडक्शन मॉडेलमधील ॲट्रिब्यूशन ग्राफ

२७ मार्च २०२५ रोजी प्रसिद्ध झालेल्या “On the Biology of a Large Language Model” ने ३० दशलक्ष फीचरच्या रिप्लेसमेंट मॉडेलने Claude 3.5 Haiku चा मागोवा घेतला. डॅलस ज्या राज्यात आहे त्याची राजधानी कोणती, या दोन-टप्प्यांच्या प्रश्नात ग्राफनी टेक्सासचे प्रतिनिधित्व करणारा एक अंतर्गत टप्पा दाखवला. यमक जुळवलेल्या ओळींमध्ये, तपासलेल्या कवितांपैकी सुमारे निम्म्यात, ओळ लिहिण्यापूर्वीच ठरवलेल्या शेवटच्या शब्दाची फीचर आढळली. २५ कवितांमध्ये ठरवलेले शब्द “rabbit” आणि “green” घातल्यावर ७०% प्रकरणांत ओळ घातलेल्या शब्दावरच संपली.

लेखक म्हणतात की वापरून पाहिलेल्या प्रॉम्प्टपैकी सुमारे एक चतुर्थांशावर ग्राफनी समाधानकारक अंतर्दृष्टी दिली, आणि यशस्वी प्रकरणांतही मॉडेलच्या यंत्रणांचा फक्त थोडासा भाग ते पकडतात. अटेन्शन पॅटर्न कसे मोजले जातात हे ही पद्धत स्पष्ट करत नाही, आणि सुमारे शंभर टोकनपेक्षा लांब प्रॉम्प्टपर्यंत ती अजून वाढवलेली नाही. तिचे दावे दाखवलेल्या उदाहरणांपुरते आहेत, यंत्रणांबद्दल सर्वसाधारण नाहीत.

बाहेरच्या चाचण्यांत काय सापडले

Gonçalo Paulo आणि Nora Belrose यांनी २८ जानेवारी २०२५ रोजी सादर केलेल्या शोधनिबंधात फक्त रँडम सीडमध्ये फरक असलेले ऑटोएन्कोडर प्रशिक्षित केले. Llama 3 8B वरील १,३१,००० लेटंटच्या ऑटोएन्कोडरमध्ये सीडमध्ये फक्त ३०% फीचर समान होती. त्यांचा निष्कर्ष असा की फीचरचा संच हे उपयुक्त विघटन आहे, मॉडेल जे काही वापरते त्याची पूर्ण यादी नाही.

Thomas Heap आणि सहकाऱ्यांना, एका दिवसानंतर सादर केलेल्या शोधनिबंधात, आढळले की यादृच्छिकपणे सुरू केलेल्या ट्रान्सफॉर्मरवर प्रशिक्षित ऑटोएन्कोडरना स्वयंचलित-इंटरप्रिटेबिलिटी मेट्रिकवर अनेकदा खऱ्या मॉडेलवर प्रशिक्षितांइतकेच गुण मिळाले (आवृत्ती २, २७ जानेवारी २०२६). त्यांचा युक्तिवाद आहे की केवळ उच्च गुण हे सिद्ध करत नाहीत की मॉडेलची प्रत्यक्ष काम करणारी फीचर परत मिळवली गेली.

OpenAI च्या १७ नोव्हेंबर २०२५ च्या शोधनिबंधाने बहुतेक वेट शून्य केलेले ट्रान्सफॉर्मर प्रशिक्षित केले, आणि त्यांत वाचता येण्याजोगी सर्किट सापडली. काही दहा दशलक्ष नॉन-झिरो पॅरामीटरपलीकडे जाताना इंटरप्रिटेबल राहणे हे आव्हान आहे, असे लेखक लिहितात.

२०२६ चे शोधनिबंध

खालील तिन्ही २०२६ चे शोधनिबंध अँथ्रॉपिकचेच आहेत, अँथ्रॉपिकच्या स्वतःच्या मॉडेलांचा अभ्यास करणारे. २ एप्रिल २०२६ रोजी त्याने Claude Sonnet 4.5 मधील १७१ भावनांच्या संकल्पनांसाठी इमोशन व्हेक्टर नोंदवले. एका चाचणी-परिस्थितीत “desperate” व्हेक्टरने स्टीअर केल्यावर एका सुरुवातीच्या स्नॅपशॉटचा ब्लॅकमेलचा दर त्याच्या २२% च्या बेसलाइनपेक्षा वर गेला, आणि “calm” व्हेक्टरने तो कमी केला. लेखक म्हणतात की भाषा मॉडेल काही अनुभवतात का किंवा त्यांना व्यक्तिनिष्ठ अनुभव असतात का, हे यातील काहीही दाखवत नाही.

७ मे २०२६ रोजी त्याने नॅचरल लँग्वेज ऑटोएन्कोडरचे वर्णन केले, जे एका ॲक्टिव्हेशनचे मजकुरात रूपांतर करतात. त्यांनी मूल्यमापन-जाणीव दर्शवली, म्हणजे मॉडेलला चाचणीचा संशय येणे: विध्वंसक कोडिंग कृतींच्या चाचणीत १६% वेळा आणि SWE-bench Verified च्या २६% समस्यांवर, तर संमती दिलेल्या claude.ai ट्रान्सक्रिप्टपैकी १% पेक्षा कमी. त्या चाचणीच्या गुणांकनातील अडचणी आमच्या बेंचमार्क वरील लेखात आहेत. ऑडिटिंग खेळात, ती वापरणाऱ्या ऑडिटरना १२% ते १५% वेळा रोपलेला छुपा हेतू सापडला, ती न वापरता ३% पेक्षा कमी. अँथ्रॉपिक या खेळाला खेळण्यातले मॉडेल म्हणते आणि सांगते की स्पष्टीकरणे चुकीची असू शकतात, कधी ट्रान्सक्रिप्टमध्ये नसलेले तपशील स्वतःच रचतात. प्रत्येक ॲक्टिव्हेशन वाचायला शेकडो टोकन तयार करावे लागतात.

६ जुलै २०२६ रोजी त्याने Claude मधील “J-space” नोंदवले, एका वेळी काही डझन संकल्पना, ज्या अंतर्गत हालचालींच्या एक दशांशापेक्षा कमी भाग व्यापतात. “Soccer” च्या जागी “Rugby” घातल्यावर उत्तर बदलले, आणि “spider” च्या जागी “ant” घातल्यावर ८ पायांचे उत्तर ६ झाले. अँथ्रॉपिक म्हणते की तिची पद्धत अपूर्ण आहे, फक्त एकाच टोकनाशी जुळणाऱ्या संकल्पना शोधते, आणि कोणत्या संकल्पना J-space मध्ये येतात हे काय ठरवते ते सांगू शकत नाही. तिच्या पानावर म्हटले आहे की नील नांदा यांच्या बाहेरच्या टिप्पणीत काही निष्कर्षांची स्वतंत्र पुनरावृत्तीही आहे.