ఆంత్రోపిక్ Claude 3 Sonnetపై 34 మిలియన్ ఫీచర్ల ఆటోఎన్‌కోడర్‌ను శిక్షణ ఇచ్చింది, గూగుల్ డీప్‌మైండ్ ఆ తర్వాత ఆ పద్ధతిపై మౌలిక పరిశోధనకు ప్రాధాన్యం తగ్గించింది, ఆంత్రోపిక్ అట్రిబ్యూషన్ గ్రాఫ్‌లు సుమారు నాలుగో వంతు ప్రాంప్ట్‌లపైనే అవగాహన ఇచ్చాయి

2024 మేలో ఆంత్రోపిక్ పరిశోధకులు Claude 3 Sonnetలోని గోల్డెన్ గేట్ బ్రిడ్జ్‌కు స్పందించే ఒక అంతర్గత ఫీచర్‌ను దాని గరిష్ఠ క్రియాశీలతకు 10 రెట్లకు సెట్ చేశారు, ఆ మోడల్ తనను తాను ఆ వంతెనగా వర్ణించుకోవడం మొదలుపెట్టింది. ఇంటర్‌ప్రెటబిలిటీ అంటే ప్రాంప్ట్‌కు, సమాధానానికి మధ్య భాషా మోడల్ లోపల ఏం జరుగుతుందో తెలుసుకోవడానికి ప్రయత్నించే పరిశోధనా రంగం. ఈ రచన 2020 నుండి 2026 జూలై వరకు దాని ప్రధాన పరిశోధనా పత్రాలు ఏం కొలిచాయో, ప్రతి బృందం ప్రకారం వాటి ఫలితాలు ఏం చూపించవో వివరిస్తుంది.

మొదట విజన్ సర్క్యూట్లు వచ్చాయి, ఒక హెచ్చరికతో

డిస్టిల్ సర్క్యూట్స్ సిరీస్ 2020 మార్చి 10న క్రిస్ ఓలా, అతని ఐదుగురు సహచరుల “Zoom In”తో మొదలైంది, వారు అప్పట్లో OpenAIలో ఉన్నారు. అది న్యూరల్ నెట్‌వర్క్‌ల గురించి మూడు వాదనలు చేసింది. ఫీచర్లు, అంటే నెట్‌వర్క్ కార్యకలాపంలోని దిశలు, దాని ప్రాథమిక ప్రమాణం. ఫీచర్లు వెయిట్‌ల ద్వారా కలిసి సర్క్యూట్లు అవుతాయి. సారూప్య ఫీచర్లు, సర్క్యూట్లు వేర్వేరు మోడళ్లలో, పనుల్లో ఏర్పడతాయి.

ఈ వాదనలను రచయితలు “ఉద్దేశపూర్వకంగా ఊహాత్మకం” అన్నారు. వారి ఉదాహరణలు ఒకే ఇమేజ్ క్లాసిఫయర్, InceptionV1, నుండి వచ్చాయి. అటువంటి నెట్‌వర్క్‌లలో అర్థవంతమైన ప్రమాణాలు అసలు ఉన్నాయా లేదా అనే దానిపై పరిశోధకులు విభజించబడ్డారని కూడా వారు రాశారు.

ఇండక్షన్ హెడ్‌లు, చిన్న మోడళ్లకు మరింత బలమైన వాదన

ఆంత్రోపిక్ “In-context Learning and Induction Heads”, 2022 మార్చి 8న ప్రచురితం, రెండు అటెన్షన్ హెడ్‌లు కలిసి పనిచేయడాన్ని వివరిస్తుంది. అటెన్షన్ హెడ్‌లు అంటే మోడల్ ముందున్న ఏ పదాలను చూడాలో నిర్ణయించే భాగాలు. ఒకటి ప్రతి పదం గుర్తింపును తర్వాతి స్థానానికి అందిస్తుంది. రెండోది ప్రస్తుత పదం ముందున్న ప్రతిని కనుగొని, దాని తర్వాత ఏం వచ్చిందో చూసి, ఆ పదాన్నే మళ్ళీ ఎక్కువ సంభావ్యంగా చేస్తుంది. రచయితలు శిక్షణ సమయంలో 34 ట్రాన్స్‌ఫార్మర్ మోడళ్లను విశ్లేషించారు, 50,000కు పైగా హెడ్ అబ్లేషన్‌లు చేశారు, అంటే ఒక హెడ్‌ను ఆపి నష్టాన్ని కొలవడం.

శిక్షణలో ఇండక్షన్ హెడ్‌లు ఏర్పడిన అదే సమయంలో ఇన్-కాంటెక్స్ట్ లెర్నింగ్‌లో తీవ్రమైన పెరుగుదల వచ్చింది, అంటే ప్రాంప్ట్ పొడవు పెరిగేకొద్దీ మోడల్ అంచనాలు మెరుగుపడటం. ఈ వాదన పెద్ద మోడళ్లకన్నా చిన్న మోడళ్లకే బలమైనదని రచయితలు రాశారు, పెద్ద మోడళ్ల గురించి తమ ఆధారాన్ని “ఆధారాల ఆరంభం మాత్రమే” అన్నారు. మోడల్ అసలు పాఠ్యాన్ని ఎలా అంచనా వేస్తుందో తెలుసుకోవాలంటే మా వివరణ చాట్‌బాట్ తర్వాతి పదాన్ని ఊహిస్తోంది చూడండి.

2023లో ఒక-పొర పరీక్ష

ఒక భాషా మోడల్‌లోని ఒకే న్యూరాన్ తరచుగా సంబంధం లేని అనేక విషయాలకు స్పందిస్తుంది. 2023 అక్టోబర్ 4 నాటి “Towards Monosemanticity”లో ఆంత్రోపిక్ తన MLP బ్లాక్‌లో 512 న్యూరాన్లున్న ఒక-పొర ట్రాన్స్‌ఫార్మర్‌పై స్పార్స్ ఆటోఎన్‌కోడర్‌ను శిక్షణ ఇచ్చింది. స్పార్స్ ఆటోఎన్‌కోడర్ అంటే ఒక పొర కార్యకలాపాన్ని చాలా పెద్ద ఫీచర్ల సమూహంగా తిరిగి రాసే రెండో చిన్న నెట్‌వర్క్, వాటిలో ఒకేసారి కొన్ని మాత్రమే క్రియాశీలంగా ఉంటాయి. ఆ పత్రం 4,096 ఫీచర్ల ఒక రన్‌ను అధ్యయనం చేస్తుంది.

మానవ తీర్పుకన్నా ఎక్కువగా నమ్మదగిన మెట్రిక్ తమ వద్ద లేదని రచయితలు రాశారు. వారి బ్లైండ్ అన్నోటేటర్ ఆ పత్రం రచయితల్లోనే ఒకరు, ఆయన 162 ఫీచర్లు, న్యూరాన్లలోని 412 క్రియాశీలత అంతరాలకు స్కోర్లు ఇచ్చారు. మధ్యస్థ న్యూరాన్‌కు 0 వచ్చింది, అంటే అన్నోటేటర్ ఏ ఊహనూ రూపొందించలేకపోయారు, మధ్యస్థ ఫీచర్ అంతరానికి 12 వచ్చింది. ఆ పొర ఇచ్చే నష్ట-తగ్గింపులో 79% ఈ రన్ తిరిగి సాధించింది, ఈ సంఖ్యను “పెద్ద చిటికెడు ఉప్పుతో” తీసుకోవాలని రచయితలు అన్నారు. ఆ పత్రం వ్యాఖ్యల్లో బయటి పరిశోధకుడు నీల్ నందా, ప్రధాన ఫలితాలు ఒక ఓపెన్-సోర్స్ ఒక-పొర మోడల్‌పై పునరావృతమయ్యాయని నివేదించారు.

Claude 3 Sonnet, ఆ వంతెన

2024 మే 21న ప్రచురితమైన “Scaling Monosemanticity”, Claude 3 Sonnet మధ్య పొరపై సుమారు 1 మిలియన్, 4 మిలియన్, 34 మిలియన్ ఫీచర్లున్న ఆటోఎన్‌కోడర్‌లను శిక్షణ ఇచ్చింది. అతిపెద్ద పరిమాణంలో సుమారు 65% ఫీచర్లు డెడ్‌గా ఉన్నాయి, అంటే 10 మిలియన్ టోకెన్ల నమూనాలో ఎప్పుడూ క్రియాశీలం కాలేదు; 1 మిలియన్ వద్ద అది 2%. వంతెన ఫీచర్‌ను దాని గరిష్ఠానికి 10 రెట్లకు బిగిస్తే, మోడల్ తనను తాను వంతెనగా గుర్తించుకోవడం మొదలుపెట్టింది. ఆంత్రోపిక్ 24 గంటల పాటు “Golden Gate Claude” డెమోను నడిపింది, దీని ప్రకటన 2024 మే 23న వచ్చింది.

అదే పత్రంలో రచయితలు పరిమితులను జాబితా చేశారు. ఆ పొరలోని అన్ని ఫీచర్లకు దగ్గరగా కూడా తాము చేరామని వారు నమ్మరు, అనేక పరిమాణ క్రమాలు తక్కువగా ఉండటం చాలావరకు సాధ్యమని భావిస్తారు, ప్రతి పొరలోని అన్నింటినీ కనుగొనడానికి మోడల్‌ను శిక్షణ ఇవ్వడానికన్నా ఎక్కువ కంప్యూట్ కావాలని అంటారు. ఖచ్చితమైన పునర్నిర్మాణానికి, విరళతకు మధ్య సమతుల్యం పాటించే తమ శిక్షణ లక్ష్యాన్ని వారు ఇంటర్‌ప్రెటబిలిటీకి ఒక ప్రాక్సీ అంటారు. అనేక పొరల్లో వ్యాపించిన ఫీచర్లు, వారు క్రాస్-లేయర్ సూపర్‌పొజిషన్ అనేవి, ఇంకా పరిష్కారం కాలేదు. మోసం, పక్షపాతం, ప్రమాదకర విషయంతో ముడిపడిన ఫీచర్ల గురించి ఎక్కువ ఊహించవద్దని వారు హెచ్చరిస్తారు.

OpenAI, గూగుల్ డీప్‌మైండ్, ఆటోఎన్‌కోడర్‌లు ఓడిన ఒక పరీక్ష

2024 జూన్ 6న సమర్పించిన OpenAI “Scaling and evaluating sparse autoencoders”, నెట్‌వర్క్ లోపల ఆరింట ఐదు వంతుల లోతులోని ఒక పొర GPT-4 యాక్టివేషన్లపై 16 మిలియన్ లేటెంట్ల ఆటోఎన్‌కోడర్‌ను శిక్షణ ఇచ్చింది. దాన్ని GPT-4లో ప్రతిక్షేపిస్తే వచ్చిన భాషా-మోడలింగ్ నష్టం, GPT-4 ప్రీట్రైనింగ్ కంప్యూట్‌లో 10%తో శిక్షణ పొందిన మోడల్‌తో పోల్చదగినది. GPT-4లోని చాలా యాదృచ్ఛిక యాక్టివేషన్లు ఇంకా తగినంతగా మోనోసెమాంటిక్ కావని, వారి 64-టోకెన్ కాంటెక్స్ట్ మోడల్ అత్యంత ఆసక్తికరమైన ప్రవర్తనను చూపడానికి బహుశా చాలా చిన్నదై ఉండవచ్చని రచయితలు అంటారు.

గూగుల్ డీప్‌మైండ్ Gemma Scope, 2024 ఆగస్టు 9న సమర్పించినది, Gemma 2 2B, 9Bలోని ప్రతి పొరకు, ఉపపొరకు ఓపెన్ ఆటోఎన్‌కోడర్‌లను విడుదల చేసింది. 2025 మార్చి 26న నీల్ నందా, Gemma Scope రచయితలు అనేకమందితో సహా ఎనిమిది మంది రచయితల గూగుల్ డీప్‌మైండ్ బృందం ఒక ప్రతికూల ఫలితాన్ని పోస్ట్ చేసింది. అది ప్రాంప్ట్‌లలో హానికర ఉద్దేశాన్ని గుర్తించడానికి ప్రోబ్‌లను శిక్షణ ఇచ్చి, వాటిని దాచిపెట్టిన జైల్‌బ్రేక్‌లపై పరీక్షించింది. మోడల్ కార్యకలాపంపై డెన్స్ లీనియర్ ప్రోబ్‌లు దాదాపు ఖచ్చితంగా పనిచేశాయి, కొత్త జైల్‌బ్రేక్‌లపై కూడా. ఆటోఎన్‌కోడర్-ఆధారిత ప్రోబ్‌లు అధ్వాన్నంగా పనిచేశాయి, చాట్ డేటాపై ఆటోఎన్‌కోడర్‌లను ఫైన్-ట్యూన్ చేస్తే అంతరంలో సుమారు సగం పూడింది. ప్రస్తుతానికి ఆటోఎన్‌కోడర్‌ల మౌలిక పరిశోధనకు ప్రాధాన్యం తగ్గిస్తున్నామని, ఆటోఎన్‌కోడర్‌లు నిరుపయోగమైనవి కావని బృందం చెప్పింది. 2025 డిసెంబర్ 1న, నిర్దిష్ట పనుల్లో పనితీరుకు బదులు పునర్నిర్మాణం, విరళతను అనుసరించడం ద్వారా 2024లో తాము పెద్ద వ్యూహాత్మక తప్పులు చేశామని, డిక్షనరీ లెర్నింగ్ రివర్స్-ఇంజనీరింగ్ దిశగా “గరిష్ఠంగా పరిమిత పురోగతి” మాత్రమే సాధించిందని రాసింది.

ఇతర బృందాలు ఈ పద్ధతిని స్టీరింగ్‌పై పరీక్షించాయి. Zhengxuan Wu, సహచరులు 2025 జనవరి 28న సమర్పించిన AxBench, Gemma-2-2B, 9Bలపై ప్రాంప్టింగ్ అత్యుత్తమంగా స్టీర్ చేసిందని, ఆ తర్వాత ఫైన్-ట్యూనింగ్ అని, స్టీరింగ్‌లో, భావనల గుర్తింపులో ఆటోఎన్‌కోడర్‌లు పోటీపడలేకపోయాయని కనుగొంది. Mikkel Godsk Jørgensen, Lars Kai Hansen 2026 మే 29న సమర్పించిన పత్రం, AxBench ఈ పద్ధతిని కఠినంగా తీర్పు చెప్పిందని వాదిస్తుంది. వారి సూపర్‌వైజ్డ్ ఫీచర్-ఎంపిక పైప్‌లైన్‌తో, ఆ బెంచ్‌మార్క్‌పై ఆటోఎన్‌కోడర్‌లు LoRA ఫైన్-ట్యూనింగ్ ప్రమాణానికి దగ్గరగా వచ్చాయి.

ప్రొడక్షన్ మోడల్‌లో అట్రిబ్యూషన్ గ్రాఫ్‌లు

2025 మార్చి 27న ప్రచురితమైన “On the Biology of a Large Language Model”, 30 మిలియన్ ఫీచర్ల రీప్లేస్‌మెంట్ మోడల్‌తో Claude 3.5 Haikuను గుర్తించింది. డాలస్ ఉన్న రాష్ట్ర రాజధాని ఏది అనే రెండు-అడుగుల ప్రశ్నలో, గ్రాఫ్‌లు టెక్సాస్‌ను సూచించే ఒక అంతర్గత దశను చూపాయి. ప్రాస ఉన్న ద్విపదల్లో, పరిశీలించిన కవితల్లో సుమారు సగంలో, పంక్తి రాయకముందే ప్రణాళిక చేసిన ముగింపు పదానికి ఫీచర్లు కనిపించాయి. 25 కవితల్లో ప్రణాళిక పదాలు “rabbit”, “green”లను ఇంజెక్ట్ చేస్తే, 70% సందర్భాల్లో పంక్తి ఇంజెక్ట్ చేసిన పదంతోనే ముగిసింది.

ప్రయత్నించిన ప్రాంప్ట్‌లలో సుమారు నాలుగో వంతులో గ్రాఫ్‌లు సంతృప్తికరమైన అవగాహన ఇచ్చాయని, విజయవంతమైన వాటిలో కూడా మోడల్ యంత్రాంగాల్లో చిన్న భాగాన్ని మాత్రమే పట్టుకుంటాయని రచయితలు అంటారు. అటెన్షన్ నమూనాలు ఎలా లెక్కించబడతాయో ఈ పద్ధతి వివరించదు, సుమారు వంద టోకెన్లకు మించిన ప్రాంప్ట్‌లకు ఇంకా విస్తరించలేదు. దీని వాదనలు చూపిన ఉదాహరణలకే వర్తిస్తాయి, యంత్రాంగాలన్నింటికీ కాదు.

బయటి పరీక్షలు ఏం కనుగొన్నాయి

Gonçalo Paulo, Nora Belrose 2025 జనవరి 28న సమర్పించిన పత్రంలో, యాదృచ్ఛిక సీడ్‌లో మాత్రమే తేడా ఉండే ఆటోఎన్‌కోడర్‌లను శిక్షణ ఇచ్చారు. Llama 3 8Bపై 131,000 లేటెంట్ల ఆటోఎన్‌కోడర్‌లో, సీడ్‌ల మధ్య ఉమ్మడిగా ఉన్న ఫీచర్లు 30% మాత్రమే. ఫీచర్ల సమూహం ఒక ఉపయోగకరమైన విభజన అని, మోడల్ వాడే వాటి పూర్తి జాబితా కాదని వారు నిర్ధారించారు.

Thomas Heap, సహచరులు ఒక రోజు తర్వాత సమర్పిస్తూ, యాదృచ్ఛికంగా ప్రారంభించిన ట్రాన్స్‌ఫార్మర్‌లపై శిక్షణ పొందిన ఆటోఎన్‌కోడర్‌లు ఆటోమేటెడ్-ఇంటర్‌ప్రెటబిలిటీ మెట్రిక్‌లపై నిజమైన మోడళ్లపై శిక్షణ పొందిన వాటిలాగే తరచుగా స్కోర్ చేశాయని కనుగొన్నారు (వెర్షన్ 2, 2026 జనవరి 27). అధిక స్కోర్లు మాత్రమే మోడల్ పనిచేసే ఫీచర్లు తిరిగి దొరికాయని చూపవని వారు వాదిస్తారు.

2025 నవంబర్ 17 నాటి OpenAI పత్రం చాలా వెయిట్‌లు సున్నాగా ఉన్న ట్రాన్స్‌ఫార్మర్‌లను శిక్షణ ఇచ్చి, వాటిలో చదవగలిగే సర్క్యూట్లను కనుగొంది. పదుల మిలియన్ల నాన్-జీరో పారామీటర్లను దాటి, ఇంటర్‌ప్రెటబుల్‌గా ఉండటం ఇంకా సవాలేనని రచయితలు రాశారు.

2026 పరిశోధనా పత్రాలు

కింది మూడు 2026 పత్రాలూ ఆంత్రోపిక్ సొంతమే, ఆంత్రోపిక్ సొంత మోడళ్లను అధ్యయనం చేసేవి. 2026 ఏప్రిల్ 2న అది Claude Sonnet 4.5లో 171 భావోద్వేగ భావనలకు ఎమోషన్ వెక్టర్లను నివేదించింది. ఒక పరీక్షా సన్నివేశంలో “desperate” వెక్టర్‌తో స్టీర్ చేస్తే ఒక తొలి స్నాప్‌షాట్ బ్లాక్‌మెయిల్ రేటు దాని 22% బేస్‌లైన్ కన్నా పెరిగింది, “calm” వెక్టర్ దాన్ని తగ్గించింది. భాషా మోడళ్లు ఏమైనా అనుభూతి చెందుతాయా, వాటికి ఆత్మాశ్రయ అనుభవాలు ఉన్నాయా అనేది వీటిలో ఏదీ చూపదని రచయితలు అంటారు.

2026 మే 7న అది నేచురల్ లాంగ్వేజ్ ఆటోఎన్‌కోడర్‌లను వివరించింది, ఇవి ఒక యాక్టివేషన్‌ను పాఠ్యంగా మారుస్తాయి. అవి మూల్యాంకన అవగాహనను సూచించాయి, అంటే మోడల్ ఇది పరీక్ష అని అనుమానించడం: విధ్వంసక కోడింగ్ చర్యల పరీక్షలో 16% సందర్భాల్లో, SWE-bench Verified సమస్యల్లో 26%లో, సమ్మతించిన claude.ai ట్రాన్స్క్రిప్ట్‌లలో 1% కన్నా తక్కువలో. ఆ పరీక్ష స్కోరింగ్ సమస్యలను మా బెంచ్‌మార్క్‌ల రచన వివరిస్తుంది. ఒక ఆడిటింగ్ గేమ్‌లో, వాటిని వాడిన ఆడిటర్లు నాటిన దాచిన ప్రేరణను 12% నుండి 15% సార్లు కనుగొన్నారు, అవి లేకుండా 3% కన్నా తక్కువ. ఆ గేమ్ ఒక బొమ్మ మోడల్ అని, వివరణలు తప్పు కావచ్చని, ట్రాన్స్క్రిప్ట్‌లో లేని వివరాలను కొన్నిసార్లు కల్పిస్తాయని ఆంత్రోపిక్ అంటుంది. ప్రతి యాక్టివేషన్ చదవడానికి వందల టోకెన్లు ఉత్పత్తి చేయాలి.

2026 జూలై 6న అది Claudeలో “J-space”ను నివేదించింది, ఒకేసారి కొన్ని డజన్ల భావనలు, అంతర్గత కార్యకలాపంలో పదో వంతు కన్నా తక్కువ. “Soccer”ను “Rugby”తో మార్చితే సమాధానం మారింది, “spider”ను “ant”తో మార్చితే 8 కాళ్ల సమాధానం 6 అయింది. తన పద్ధతి అపరిపూర్ణమని, ఒకే టోకెన్‌కు సరిపోలే భావనలను మాత్రమే కనుగొంటుందని, J-spaceలోకి ఏ భావనలు వస్తాయో ఏది నిర్ణయిస్తుందో చెప్పలేదని ఆంత్రోపిక్ అంటుంది. నీల్ నందా బయటి వ్యాఖ్యానంలో కొన్ని ఫలితాల స్వతంత్ర పునరావృతం కూడా ఉందని దాని పేజీ చెబుతోంది.