MMLU கேள்விகளில் மதிப்பிடப்பட்ட 6.49% இல் பிழைகள் உள்ளன, புதிய கணிதத் தேர்வு சில மாதிரிகளின் மதிப்பெண்ணை 8 புள்ளிகள் வரை குறைத்தது, LMArena வில் மெட்டா பதிவு செய்த Llama 4 மாதிரி அது வெளியிட்ட மாதிரி அல்ல

மொழி மாதிரிகளை மதிப்பிடப் பயன்படும் 57 பாடங்களின் பல்தேர்வுத் தேர்வான MMLU இல், 16 ஆய்வாளர்கள் 2024 ஜூனில் செய்த மறுசரிபார்ப்பின்படி, கேள்விகளில் மதிப்பிடப்பட்ட 6.49% இல் பிழைகள் உள்ளன. வைரஸியல் பிரிவில் அவர்கள் ஆராய்ந்த 100 கேள்விகளில் 57 இல் ஏதேனும் ஒரு பிரச்சினை இருந்தது. அளவுகோல்கள் தேய்ந்துபோவது, பயிற்சித் தரவுக்குள் கசிவது, அல்லது தந்திரமாகப் பயன்படுத்தப்படுவது ஆகியவை குறித்த ஆவணப்படுத்தப்பட்ட நிகழ்வுகள், ஒவ்வொரு எண்ணையும் அளந்தவர் யார், அளவுகோல்களின் சொந்த ஆசிரியர்கள் அவற்றின் எல்லைகள் குறித்து என்ன சொல்கின்றனர் என்பவை இங்கே.

ஒரு தேர்வுக்கு இடம் தீர்ந்துபோகும்போது

MMLU இன் கடினமான வாரிசான MMLU-Pro வின் ஆசிரியர்கள் 2024 ஜூன் 3 க்குள், இத்தகைய அளவுகோல்களில் செயல்திறன் “தேக்கமடையத் தொடங்கியுள்ளது” என்று எழுதினர். MMLU-Pro வில் பத்து விடைத் தேர்வுகளுடன் 12,032 கேள்விகள் உள்ளன; MMLU வை விட மூன்று மடங்கு தவறான தேர்வுகள். எட்டு திறந்த மாதிரிகளில் நான்குக்கும் மேற்பட்டவை சரியாகப் பதிலளித்த 5,886 MMLU கேள்விகளை அதன் உருவாக்குநர்கள் நீக்கினர்; எனவே அதன் கேள்விகளில் 6,810 மட்டுமே MMLU வில் இருந்து வந்தவை, மீதம் பிற மூலங்களிலிருந்து. தாங்கள் சோதித்த மாதிரிகளில் MMLU வுடன் ஒப்பிடும்போது துல்லியம் 16% முதல் 33% வரை குறைந்தது என்றும், கேள்வி வார்த்தைப்படுத்தலுக்கான உணர்திறன் 4 முதல் 5% இலிருந்து 2% ஆகக் குறைந்தது என்றும் ஆசிரியர்கள் தெரிவிக்கின்றனர். GPT-4o க்கு, படிப்படியான சிந்தனை MMLU-Pro வை 53.5% இலிருந்து 72.6% ஆக உயர்த்தியது, ஆனால் MMLU வை 87.2% இலிருந்து 88.7% ஆக மட்டுமே உயர்த்தியது என்று அவர்கள் தெரிவிக்கின்றனர்.

“பல ஆண்டுகள் சவாலாக இருக்கும் என்று நோக்கப்பட்ட மதிப்பீடுகள் மாதங்களில் நிறைவுநிலையை அடைகின்றன” என்று ஸ்டான்ஃபோர்டின் 2026 AI குறியீடு கூறுகிறது. AI க்குக் கடினமாக இருக்க வடிவமைக்கப்பட்ட தேர்வான Humanity’s Last Exam இல் முன்னணி மாதிரிகள் ஓராண்டில் 30 சதவீதப் புள்ளிகள் முன்னேறின என்றும் அது சேர்க்கிறது.

விடைக்குறிப்பில் பிழைகள்

தவறான விடைக்குறிப்பு, கிடைக்கக்கூடிய சிறந்த மதிப்பெண்ணை 100% க்குக் கீழே மட்டுப்படுத்துகிறது. ஆர்யோ பிரதீப்தா கெமா முதல் ஆசிரியராக உள்ள MMLU-Redux குழு, 57 பாடங்கள் ஒவ்வொன்றிலிருந்தும் 100 சீரற்ற கேள்விகளை, அதாவது 14,042 இல் மொத்தம் 5,700 ஐ, சரிபார்த்தது. பிரச்சினைகளைத் தெளிவற்ற கேள்விகள், தெளிவற்ற தேர்வுகள், சரியான விடை இல்லாதவை, பல சரியான விடைகள் உள்ளவை, தவறான குறிப்புகள் என வகைப்படுத்தினர். வைரஸியல் மிக மோசமான பதிவைக் கொண்டிருந்தது: 57%, அதில் 33 தவறான விடைக்குறிப்புகள். தர்க்கப் பிழைகள் 26%, கல்லூரி வேதியியல் 25%, தொழில்முறைச் சட்டம் 18%. 6.49% என்பது மாதிரி எடுத்ததிலிருந்து முழுத் தேர்வுக்கும் விரிவுபடுத்திய அவர்களது மதிப்பீடு. 8,342 கேள்விகள் சரிபார்க்கப்படவில்லை என்றும், தங்கள் நெறிமுறை “குறிப்பாளர்களின் தனிப்பட்ட சார்புகளுக்கு இன்னும் ஆளாகியிருக்கலாம்” என்றும் ஆசிரியர்கள் குறிப்பிடுகின்றனர்.

ஒரு புதிய கணிதப் புதிர்த் தொகுப்பு

GSM8K என்பது பள்ளி அளவிலான கணிதச் சொல் புதிர்களின் தொகுப்பு. 2024 மே 1 அன்று ஹியூ ஜாங்கும் சக ஆசிரியர்களும் GSM1k ஐ மையமாகக் கொண்ட ஆய்வறிக்கையை வெளியிட்டனர்; அது Scale AI மூலம் அமர்த்தப்பட்ட மனிதக் குறிப்பாளர்கள் எழுதிய 1,205 புதிய புதிர்கள், அவற்றை எழுத எந்த மொழி மாதிரியும் பயன்படுத்தப்படவில்லை. GSM1k இல் சில மாதிரிகளின் துல்லியம் 8 புள்ளிகள் வரை குறைந்தது. மிகப்பெரிய இடைவெளி Yi-6B-Chat இல்: 43.7% இலிருந்து 35.7%. Phi, Mistral குடும்பங்கள் கிட்டத்தட்ட ஒவ்வொரு வெளியீட்டிலும் GSM1k இல் குறைவாக எடுத்தன; Gemini, GPT, Claude மாதிரிகள் மிகைப் பொருத்தத்தின் அறிகுறியைக் குறைவாகவே காட்டின. ஒரு மாதிரி GSM8K எடுத்துக்காட்டுகளை அப்படியே உருவாக்கும் வாய்ப்புக்கும் அதன் மதிப்பெண் இடைவெளிக்கும் இடையே ஒரு தொடர்பும் இருப்பதை ஆசிரியர்கள் கண்டனர் (ஸ்பியர்மன் r-ஸ்கொயர் 0.36). இரண்டு தொகுப்புகளும் “மிகவும் ஒத்தவை மட்டுமே, ஆனால் ஒரே பரவலைக் கொண்டவை அல்ல” என்று அவர்கள் எச்சரிக்கின்றனர். GSM1k பயிற்சித் தரவுக்குள் கசிவதைத் தடுக்க ஆசிரியர்கள் அதை முதலில் வெளியிடாமல் வைத்திருந்தனர்.

மாசுபாடு எப்படி அளக்கப்படுகிறது

மாசுபாடு என்பது தேர்வுப் பொருள் ஒரு மாதிரியின் பயிற்சித் தரவுக்குள் கசிந்ததைக் குறிக்கிறது. மூன்று ஆய்வறிக்கைகள் வெவ்வேறு கோணங்களில் அதைத் தாக்குகின்றன.

சுன்யுவான் டெங்கும் சக ஆசிரியர்களும், பல்தேர்வுக் கேள்வியிலிருந்து மறைக்கப்பட்ட ஒரு தவறான விடைத் தேர்வை ஊகிக்குமாறு மாதிரிகளைக் கேட்டனர். MMLU வில் ChatGPT யும் GPT-4 உம் அதைச் சரியாக 52% மற்றும் 57% நேரங்களில் ஒத்துப்போயின. இதை வெளிப்பாட்டின் அடையாளமாக ஆசிரியர்கள் வாசிக்கின்றனர், ஆனால் நேரடி மீட்டெடுப்பை விட இந்த முறை நம்பகத்தன்மை குறைந்தது என்கின்றனர். ஒரு மாதிரி அளவுகோலின் அசல் கேள்வி வரிசையைக் கலைக்கப்பட்ட வடிவங்களை விட விரும்புகிறதா என்று யோனாதன் ஓரெனும் சக ஆசிரியர்களும் சோதித்தனர். ஐந்து பொது மாதிரிகளில் பயன்படுத்தியபோது, பரவலான மாசுபாட்டுக்கு அந்தச் சோதனை சிறிதளவு சான்றையே கண்டது. ரூயிஜி ஷூவும் சக ஆசிரியர்களும் 31 மாதிரிகளைக் கணிதத் தேர்வுகளில் பெர்ப்ளெக்சிட்டி, n-கிராம் மதிப்பெண்களைக் கொண்டு சோதித்து, தேர்வுத் தொகுப்பைத் தவறாகப் பயன்படுத்திய கணிசமான நிகழ்வுகளைத் தெரிவித்தனர். கிட்டத்தட்ட ஒவ்வொரு தேர்வையும் மாதிரியின் உருவாக்குநரே நடத்திய ஒரு நிகழ்வுக்கு, சாதனத்திலேயே ஓடும் மாதிரிகள் பற்றிய எங்கள் பார்வையைப் பாருங்கள்.

HumanEval இலிருந்து தேதியிடப்பட்ட புதிர்கள் வரை

HumanEval போன்ற பழைய நிரலாக்கத் தேர்வுகளுக்கு மாற்றாக 2024 மார்ச் 12 அன்று வெளியிடப்பட்ட LiveCodeBench, LeetCode, AtCoder, Codeforces ஆகியவற்றிலிருந்து புதிர்களை எடுத்து ஒவ்வொன்றும் வெளியிடப்பட்ட தேதியைப் பதிவு செய்கிறது; எனவே ஒரு மாதிரியின் பயிற்சி எல்லைத் தேதிக்குப் பிறகு வெளியான புதிர்களில் மட்டுமே அதைச் சோதிக்க முடியும். 2023 ஆகஸ்டுக்குப் பிறகு வெளியான LeetCode புதிர்களில் DeepSeek இன் நிரலாக்க மாதிரிகள் கடுமையாகச் சரிந்தன என்று அதன் ஆசிரியர்கள் தெரிவிக்கின்றனர். HumanEval “சிறிய, தனித்த நிரலாக்கப் புதிர்களைக் கொண்ட எளிதான அளவுகோல், எனவே மிகைப் பொருத்தம் செய்ய எளிது” என்று அவர்கள் எழுதுகின்றனர். அது Python ஐ மட்டுமே உள்ளடக்குகிறது என்றும், புதிர்களை மாதிரி எடுப்பது மட்டுமே மதிப்பெண்களை 1 முதல் 1.5% நகர்த்துகிறது, எனவே மாதிரிகளுக்கு இடையிலான சிறிய இடைவெளிகள் பெரிதாக எதையும் குறிக்காது என்றும் அவர்கள் சேர்க்கின்றனர்.

மனிதர்களால் வடிகட்டப்பட்ட மென்பொருள் பணித் தொகுப்பான SWE-bench Verified அதே ஆய்வுக்கு உள்ளானது. 2026 செப்டம்பர் 3 அன்று Epoch AI அதை “குறைபாடுள்ளது” (Flawed) என மதிப்பிட்டது. அது OpenAI இன் 2026 பிப்ரவரி 23 தணிக்கையை மேற்கோள் காட்டுகிறது; அந்தத் தணிக்கை 27.6% பணிகளை உள்ளடக்கி, அவற்றில் 59.4% இல் சரியான திருத்தங்களை நிராகரித்த சோதனைகளைக் கண்டது, அதாவது அனைத்துப் பணிகளிலும் குறைந்தபட்சம் 16.4%. 20% க்கும் மேற்பட்ட கேள்விகளில் மதிப்பெண் பிரச்சினைகள் உள்ளன என்பதில் தனக்குப் போதிய நம்பிக்கை உள்ளது என்றும், அனைத்துப் பணிகளும் தீர்வுகளும் இப்போது பொதுவில் உள்ளன என்றும் Epoch கூறுகிறது. சோதனையில் தேறிய திருத்தங்கள் குறித்த பராமரிப்பாளர் மதிப்பாய்வையும் Scale AI இன் SWE-Bench Pro பலகையையும் எங்கள் நிரலாக்க முகவர்கள் பற்றிய அறிக்கை உள்ளடக்குகிறது.

LMArena வில் Llama 4 பதிவு

மெட்டாவின் 2025 ஏப்ரல் 5 Llama 4 அறிவிப்பு, Llama 4 Maverick உடன் “ஒரு சோதனை அரட்டை வடிவம்” வந்தது என்றும், மனிதர்களின் விருப்ப வாக்குகளின் அடிப்படையிலான தரவரிசையான LMArena வில் அது 1417 Elo பெற்றது என்றும் கூறியது. ஏப்ரல் 7 அன்று, சோதனைத் தொகுப்புகளில் மெட்டா பயிற்சி அளித்தது என்ற கூற்றை “முற்றிலும் உண்மை அல்ல” என்று மெட்டா நிர்வாகி அஹ்மத் அல்-தஹ்லே மறுத்தார் என்று TechCrunch தெரிவித்தது.

LMArena ஏப்ரல் 8 அன்று தனது சொந்த அறிக்கையை வெளியிட்டது. தனது கொள்கைக்கு மெட்டா அளித்த விளக்கம் “மாதிரி வழங்குநர்களிடம் நாங்கள் எதிர்பார்ப்பதற்குப் பொருந்தவில்லை” என்றும், Llama-4-Maverick-03-26-Experimental என்பது மனிதர்களின் விருப்பத்துக்கு ஏற்ப மேம்படுத்தக் கட்டப்பட்ட தனிப்பயனாக்கப்பட்ட மாதிரி என்பதை மெட்டா இன்னும் தெளிவாக்கியிருக்க வேண்டும் என்றும் அது கூறியது. மதிப்பாய்வுக்காக 2,000 அல்லது அதற்கு மேற்பட்ட போட்டி முடிவுகளை வெளியிட்டு, தனது கொள்கைகளைப் புதுப்பிப்பதாகக் கூறியது.

2025 ஏப்ரல் 29 அன்று ஷிவாலிகா சிங்கும் சக ஆசிரியர்களும் “தி லீடர்போர்டு இல்யூஷன்” (The Leaderboard Illusion) ஐ வெளியிட்டனர். Llama 4 வெளியீட்டுக்கு முன் அரங்கில் மெட்டாவின் 27 தனியார் வடிவங்கள் வரை இருந்தன என்று அது எண்ணுகிறது; 83 திறந்த-எடை மாதிரிகள் சேர்ந்து 29.7% சோதனை வினாக்களைப் பெற்ற நிலையில், கூகுள் 19.2% உம் OpenAI 20.4% உம் பெற்றன என்று மதிப்பிடுகிறது. ஒரு ஃபைன்-ட்யூனிங் சோதனையில், 70% அரங்கத் தரவு கலந்த தரவில் பயிற்றுவிக்கப்பட்ட 7 பில்லியன்-அளவுரு மாதிரி, Arena-Hard வினாத் தொகுப்பில் தனது வெற்றி விகிதத்தை 23.5% இலிருந்து 49.9% ஆக உயர்த்தியது, அதாவது 112.3% ஒப்பீட்டு உயர்வு; அதன் MMLU மதிப்பெண் 66.5% இலிருந்து 65.9% ஆகச் சரிந்தது. மெட்டா பற்றிய தங்கள் எண்ணிக்கை பழமைவாதமானது என்றும், தனியார் வடிவங்களின் மதிப்பெண்களைத் தங்களால் பார்க்க முடியாது என்றும், ஆசிரியர்களில் பலர் Cohere இல் பணியாற்றுகின்றனர் என்றும் ஆசிரியர்கள் வெளிப்படுத்துகின்றனர். மதிப்பெண் திரும்பப் பெறுவதைத் தடை செய்யவும், ஒவ்வொரு வழங்குநருக்கும் தனியார் வடிவங்களுக்கு ஒரு தெளிவான உச்சவரம்பை நிர்ணயிக்கவும் அவர்கள் பரிந்துரைக்கின்றனர்.

2025 மே 9 அன்று அரங்கம் (Arena) பதிலளித்தது. ஆய்வறிக்கையின் திறந்த-மாதிரிப் பங்கை அது மறுக்கிறது; தனது ஏப்ரல் 27 புள்ளிவிவரங்களில் திறந்த மாதிரிகள் 40.9% என்கிறது. வெளியீட்டுக்கு முந்தைய சோதனை ஆதாயங்கள் பற்றிய ஆய்வறிக்கையின் வரைபடம் அரங்கத் தரவுக்குத் தொடர்பில்லாத ஒரு உருவகப்படுத்தல் என்றும், ஃபைன்-ட்யூனிங் சோதனை ஒரு மாதிரியால் மதிப்பிடப்பட்ட நிலையான 500-வினா அளவுகோலைப் பயன்படுத்தியது என்றும் அது கூறுகிறது. வெளியீட்டுக்கு முந்தைய சோதனைக் கொள்கை 2024 மார்ச் 1 முதல் பொதுவில் உள்ளது என்றும் கூறியது; பல வெளியீட்டுக்கு முந்தைய வடிவங்களை அனுமதிப்பதாகவும், ஆரம்ப மதிப்பெண்களைத் தற்காலிகமானவை எனக் குறிப்பிடுவதாகவும் உறுதியளித்தது.

எதிர்க்கும்படி கட்டப்பட்ட தேர்வுகளும் அவற்றின் சொந்தத் தணிக்கைகளும்

Humanity’s Last Exam (HLE) 2025 ஜனவரி 24 அன்று 2,500 கேள்விகளுடன் வெளியிடப்பட்டது. ஒவ்வொன்றும் முன்னணி மாதிரிகளுக்கு எதிராகச் சோதிக்கப்பட்டு, அவை சரியாகப் பதிலளித்தால் நிராகரிக்கப்பட்டது. ஆய்வறிக்கையின் அட்டவணை, எழுத்து மட்டுமுள்ள கேள்விகளில் எட்டு மாதிரிகளில் சிறந்ததாக o3-mini (high) ஐ 13.4% உடன் பட்டியலிடுகிறது; ஒரு தனியார் ஒதுக்கப்பட்ட தொகுப்பு மிகைப் பொருத்தத்தைச் சரிபார்க்கிறது. 2025 ஜூலை 23 அன்று FutureHouse, எழுத்து மட்டுமுள்ள 321 வேதியியல், உயிரியல் கேள்விகளை ஒரு இலக்கியத் தேடல் முகவரைக் கொண்டு சரிபார்த்து, அதன் வெளியீடுகளில் 150 ஐ நிபுணர்கள் மதிப்பாய்வு செய்யச் செய்து, 29% (கூட்டல் கழித்தல் 3.7 புள்ளிகள்) கேள்விகளின் விடைகள் சக மதிப்பாய்வு பெற்ற இலக்கியத்துடன் நேரடியாக முரண்படுகின்றன என்று மதிப்பிட்டது. இதே போன்ற ஒரு துணைத் தொகுப்பில் சுமார் 18% சிக்கலானவை என்று HLE குழுவின் சொந்தத் தொடர் ஆய்வு கண்டது என்றும், மூன்று நிபுணர் மதிப்பாய்வாளர்களில் குறைந்தது ஒருவர் 25% இல் முரண்பட்டார் என்றும் FutureHouse இன் புதுப்பிப்பு கூறுகிறது. குழு ஒரு தொடர் திருத்தத்தைத் திட்டமிட்டுள்ளது.

ARC-AGI, 2019 இல் ஃபிரான்சுவா ஷோலே அறிமுகப்படுத்தியது, மனிதர்களுக்கு எட்டக்கூடியதாகவும் AI க்குக் கடினமாகவும் இருக்கும்படி வடிவமைக்கப்பட்ட புதிர்களின் தொகுப்பு. 2025 மே 17 ARC-AGI-2 ஆய்வறிக்கை 407 பங்கேற்பாளர்களுடன் மனிதச் சோதனையைத் தெரிவிக்கிறது. 2025 மே 14 நிலவரப்படி அதன் அட்டவணை, அரை-தனியார் தொகுப்பில் சிறந்த மதிப்பெண்ணாக 3.0% ஐப் பட்டியலிடுகிறது. 5% க்குக் கீழான துல்லியங்கள் பொதுவாக அர்த்தமுள்ளவையாகக் கருதப்படுவதில்லை என்று ஆசிரியர்கள் கூறுகின்றனர். 2026 மே 1 அறிக்கையில், அந்தத் தொகுப்பை “ஒதுக்கப்பட்ட, மாசுபடாத” தொகுப்பு என்று அழைக்கும் NIST இன் சோதனை மையம் CAISI, அதில் GPT-5.5 க்கு 79% உம் Anthropic இன் Opus 4.6 க்கு 63% உம் அளந்தது. அந்த அறிக்கையின் மீதியை சீன மாதிரிகள் பற்றிய எங்கள் கட்டுரை உள்ளடக்குகிறது. தனது எண்கள் பணிகள் முழுவதிலும் எடுத்த சராசரி என்றும், அது அளவுகோலின் அதிகாரபூர்வ மதிப்பெண் முறையிலிருந்து வேறுபடுகிறது என்றும் CAISI கூறுகிறது.