மெட்டா Llama 3 405B மாதிரியை 15.6 டிரில்லியன் டோக்கன்களிலும் 30.84 மில்லியன் GPU மணி நேரங்களிலும் பயிற்றுவித்தது; ஓப்பன்ஏஐயின் மனிதத் தரப்படுத்துநர்கள் 175 பில்லியன் அளவுருக்கள் கொண்ட GPT-3 ஐ விட, 1.3 பில்லியன் அளவுருக்கள் கொண்ட செம்மைப்படுத்திய மாதிரியையே விரும்பினர்

மெட்டாவின் முதன்மை Llama 3 மாதிரிக்கு 405 பில்லியன் அளவுருக்கள் உள்ளன. அளவுருக்கள் என்பவை ஒரு நரம்பு வலையமைப்புக்குள் இருக்கும் மாற்றியமைக்கக்கூடிய எண்கள். அது 15.6 டிரில்லியன் டோக்கன்களிலிருந்து கற்றது; டோக்கன் என்பது சில எழுத்துகள் நீளமுள்ள உரைத் துண்டு. Llama 3.1 மாதிரி அட்டை இந்த ஒரு மாதிரிக்கு Nvidia H100 சிப்களில் 30.84 மில்லியன் GPU மணி நேரங்கள் என்றும், மூன்று அளவுகள் கொண்ட முழுக் குடும்பத்துக்கு 39.3 மில்லியன் என்றும் குறிப்பிடுகிறது. 2024 ஜூலை 23 தேதியிட்ட அதன் ஆய்வறிக்கை, 405B மாதிரி 16,000 வரையிலான H100 சிப்களில் பயிற்றுவிக்கப்பட்டதாகச் சொல்கிறது. (மெட்டாவின் ஆய்வறிக்கை 3.1 மாதிரிகளையும் Llama 3 என்றே அழைக்கிறது; இந்தக் கட்டுரையும் அப்படியே.)

மெட்டாவின் ஆய்வறிக்கை இந்த வேலையை இரண்டு கட்டங்களாகப் பிரிக்கிறது. முன்பயிற்சி, மிகப் பெரிய அளவில் அடுத்த சொல்லைக் கணிப்பதன் மூலம் வலையமைப்புக்கு மொழியைக் கற்பிக்கிறது. பிறகு பின்பயிற்சி, அதை அறிவுறுத்தல்களைப் பின்பற்றவும் மனிதர்களின் விருப்பங்களுக்குப் பொருந்தவும் செம்மைப்படுத்துகிறது. ஆய்வகங்கள் தங்கள் சொந்த ஆய்வறிக்கைகளிலும் மாதிரி அட்டைகளிலும் அச்சிட்ட எண்களைக் கொண்டு இரண்டையும் வரிசையாக இந்தக் கட்டுரை விவரிக்கிறது, ஒவ்வொரு எண்ணும் எங்கிருந்து வருகிறது என்பதையும் சொல்கிறது.

எதையும் கற்பதற்கு முன் உரை வடிகட்டப்படுகிறது

இணைய உரையில் நகல்களும் குப்பைகளும் தேவையற்றவையும் நிறைந்துள்ளன, அதனால் ஒவ்வொரு ஆய்வகமும் முதலில் அதைச் சுத்தம் செய்கிறது. ஓப்பன்ஏஐயின் GPT-3 ஆய்வறிக்கை (2020), 2016 முதல் 2019 வரையிலான காலத்தை உள்ளடக்கிய, இணையத்தின் பொதுக் காப்பகமான Common Crawl இன் 41 மாதாந்திரப் பிரதிகளிலிருந்து தொடங்குகிறது. வடிகட்டுவதற்கு முன் அது சுருக்கப்பட்ட 45 டெராபைட் உரை, வடிகட்டிய பின் 570 ஜிகாபைட், ஏறத்தாழ 400 பில்லியன் டோக்கன்கள்.

வடிகட்டலுக்கு இரண்டு பகுதிகள் இருந்தன. உயர்தரக் குறிப்புத் தொகுப்புகளையும் மூல Common Crawl ஐயும் வேறுபடுத்த ஓப்பன்ஏஐ ஒரு வகைப்படுத்தியைப் பயிற்றுவித்தது, பிறகு அந்த வகைப்படுத்தி அதிக மதிப்பெண் கொடுத்த ஆவணங்களுக்கு முன்னுரிமை அளித்தது. தரவுத்தொகுப்புகளுக்கு இடையே பகிரப்பட்ட நகல்கள் உட்பட, கிட்டத்தட்ட ஒரே மாதிரியான ஆவணங்களையும் அது நீக்கியது. வடிகட்டலில் இருந்த ஒரு பிழையால் சில ஆவணங்கள் அளவீட்டுச் சோதனைத் தொகுப்புகளுடன் ஒன்றுபடுவது தவறவிடப்பட்டது என்றும், அதைச் சரிசெய்ய மறுபயிற்சி மிகவும் செலவாகும் என்றும் ஆசிரியர்கள் சேர்க்கிறார்கள்.

Llama 3 இன் செயல்முறை நீளமானது. அதன் ஆய்வறிக்கை, அதிக அளவில் தனிப்பட்ட தகவல்களையோ வயதுவந்தோர் உள்ளடக்கத்தையோ கொண்ட இணையதளங்களை நீக்குவது, திரும்பத் திரும்ப வரும் வரிகளை அழிப்பது, தடைப் பட்டியல்கள் தவறவிடும் வயதுவந்தோர் தளங்களைப் பிடிக்க “dirty words” எண்ணிக்கையைக் கணக்கிடுவது, வேகமான வகைப்படுத்திகளாலும் மெதுவான RoBERTa அடிப்படையிலானவற்றாலும் தரத்தை மதிப்பிடுவது ஆகியவற்றை விவரிக்கிறது. ஒரு மொழி கண்டறிவி ஆவணங்களை 176 மொழிகளாகப் பிரிக்கிறது. இந்த அளவில் உரையை நகலெடுப்பது சட்டப்படி சரியா என்பது நீதிமன்றங்களில் சோதிக்கப்படுகிறது; 2026 இன் மூன்று தீர்ப்புகள் அதைக் காட்டுகின்றன. இறுதிக் கலவை ஏறத்தாழ 50 சதவீதம் பொது அறிவு, 25 சதவீதம் கணிதமும் பகுத்தறிவும், 17 சதவீதம் நிரல், 8 சதவீதம் பன்மொழி உரை என்று மெட்டா கூறுகிறது.

உரையை டோக்கன்களாகப் பிரித்தல்

ஒரு வலையமைப்பு எழுத்துகளையோ முழுச் சொற்களையோ படிப்பதில்லை. அது டோக்கன்களைப் படிக்கிறது, அவை நிலையான சொல்தொகுப்பிலிருந்து வரும் துண்டுகள். byte pair encoding என்ற முறையில் அரிதான சொற்களைச் சிறிய துணைச்சொல் அலகுகளாக உடைத்தால், ஒரு மொழிபெயர்ப்பு அமைப்பு தான் இதுவரை பார்க்காத சொற்களையும் கையாள முடியும் என்று Sennrich, Haddow, Birch ஆகியோர் 2015 இல் காட்டினர்.

2017 Transformer ஆய்வறிக்கை அந்த முறையை, ஆங்கிலத்துக்கும் ஜெர்மனுக்கும் சேர்த்து ஏறத்தாழ 37,000 டோக்கன்கள் கொண்ட பகிரப்பட்ட சொல்தொகுப்புடன் பயன்படுத்தியது. Llama 3 128,000 ஐப் பயன்படுத்துகிறது: ஓப்பன்ஏஐயின் திறந்த tiktoken டோக்கனைசரிலிருந்து 100,000, ஆங்கிலம் அல்லாத மொழிகளுக்காகச் சேர்க்கப்பட்ட 28,000. பெரிய சொல்தொகுப்பு ஆங்கிலச் சுருக்கத்தை ஒரு டோக்கனுக்கு 3.17 எழுத்துகளிலிருந்து 3.94 ஆக உயர்த்தியதாக மெட்டா தெரிவிக்கிறது, அதனால் அதே பயிற்சிக் கணக்கீட்டு ஆற்றல் அதிக உரையை உள்ளடக்குகிறது.

முன்பயிற்சி என்பது மிகப் பெரிய அளவிலான அடுத்த சொல் கணிப்பு

இதை நடைமுறைக்குக் கொண்டுவந்த வடிவமைப்பு Transformer. அது கூகுளிலும் டொரொண்டோ பல்கலைக்கழகத்திலும் இருந்த, ஆஷிஷ் வாஸ்வானி, நோம் ஷசீர் ஆகியோர் அடங்கிய குழுவிடமிருந்து வந்தது. படிப்படியாகச் செல்லும் பழைய தொடர்ச்சி வடிவமைப்பை அது கைவிட்டு, கவனம் என்ற பொறிமுறையைச் சார்ந்திருக்கிறது; அது ஒரு பத்தியிலுள்ள ஒவ்வொரு சொல்லும் மற்ற ஒவ்வொரு சொல்லையும் எடைபோட அனுமதிக்கிறது. ஆய்வறிக்கையின் பெரிய மாதிரி, எட்டு P100 GPU களில் 3.5 நாட்களுக்குப் பிறகு, ஆங்கிலத்திலிருந்து ஜெர்மனுக்கு 28.4 BLEU என்ற மொழிபெயர்ப்பு மதிப்பெண்ணை எட்டியது. அதன் அடிப்படை மாதிரிக்கு 65 மில்லியன் அளவுருக்கள் இருந்தன, அது 12 மணி நேரம் பயிற்றுவிக்கப்பட்டது.

முன்பயிற்சி பிறகு அந்த வழிமுறையை விரிவுபடுத்தியது. GPT-3 க்கு 175 பில்லியன் அளவுருக்கள் உள்ளன, 2,048 டோக்கன்கள் கொண்ட சூழல் சாளரத்தைப் படிக்கிறது, மைக்ரோசாஃப்ட் கிளஸ்டரில் V100 GPU களைப் பயன்படுத்தி 300 பில்லியன் டோக்கன்களில் பயிற்றுவிக்கப்பட்டது. InstructGPT ஆய்வறிக்கை அதன் முன்பயிற்சியை 3,640 petaflop/s-days என்று குறிப்பிடுகிறது; அந்த அலகு 8.64 x 10^19 மிதவைப்புள்ளிக் கணக்கீடுகளுக்குச் சமம்.

Llama 3 405B க்கு 126 அடுக்குகள் உள்ளன, அது 3.8 x 10^25 கணக்கீடுகளுக்கு முன்பயிற்சி பெற்றது; அது மிகப் பெரிய Llama 2 ஐ விட ஏறத்தாழ 50 மடங்கு என்று மெட்டா கூறுகிறது. பயிற்சி 4 மில்லியன் டோக்கன்கள் கொண்ட தொகுதிகளுடன் தொடங்கி 16 மில்லியனாக வளர்ந்தது. கடைசிக் கட்டத்தில் சூழல் சாளரம் ஆறு படிகளில் 8,000 இலிருந்து 128,000 டோக்கன்களாக நீட்டிக்கப்பட்டது, annealing என்ற இறுதிநிலை உயர்தரத் தரவைப் பயன்படுத்தியது.

ஒரு குறிப்பிட்ட அளவு மாதிரி எத்தனை டோக்கன்களைப் பார்க்க வேண்டும்

நிலையான கணக்கீட்டு ஆற்றல் ஒதுக்கீடு உள்ள ஆய்வகம் அதை பெரிய மாதிரிக்கும் அதிக உரைக்கும் இடையே பிரிக்க வேண்டும். டீப்மைண்டின் 2022 மார்ச் Chinchilla ஆய்வறிக்கை, 70 மில்லியனிலிருந்து 16 பில்லியனுக்கும் மேற்பட்ட அளவுருக்கள் கொண்ட 400க்கும் மேற்பட்ட மாதிரிகளை, 5 முதல் 500 பில்லியன் டோக்கன்களில் பயிற்றுவித்தது. மாதிரியின் அளவும் பயிற்சி டோக்கன்களும் சேர்ந்தே வளர வேண்டும், ஒன்று இரட்டிப்பாகும் ஒவ்வொரு முறையும் மற்றதும் இரட்டிப்பாக வேண்டும் என்பது அதன் கண்டுபிடிப்பு.

இதை டீப்மைண்ட் Chinchilla மூலம் சோதித்தது. அது 1.4 டிரில்லியன் டோக்கன்களில் பயிற்றுவிக்கப்பட்ட 70 பில்லியன் அளவுரு மாதிரி; 300 பில்லியன் டோக்கன்களைப் பார்த்த அதன் 280 பில்லியன் அளவுரு Gopher மாதிரியின் அதே கணக்கீட்டு ஆற்றலைப் பயன்படுத்தியது. பல்வேறு பணிகளில் Chinchilla, Gopher ஐயும் GPT-3 ஐயும் விஞ்சியது என்றும், MMLU அளவீட்டில் 67.5 சதவீதம் பெற்றது என்றும் ஆய்வறிக்கை தெரிவிக்கிறது.

மெட்டா தனது சொந்த பொருத்தத்தை நடத்தியது. 3.8 x 10^25 கணக்கீடுகளுக்கு விரிவுபடுத்திப் பார்த்தபோது, 16.55 டிரில்லியன் டோக்கன்களில் 402 பில்லியன் அளவுரு மாதிரி பரிந்துரைக்கப்பட்டது; குழு 405 பில்லியன் அளவுருக்களை முடிவு செய்தது. எளிய வகுத்தலின்படி, அது Llama 3 405B க்கு ஒரு அளவுருவுக்கு ஏறத்தாழ 38 டோக்கன்கள், Chinchilla க்கு 20, GPT-3 க்கு 2 க்கும் குறைவு.

16,000 சிப்களில் என்ன தவறாகிறது

பயிற்சி என்பது ஒருங்கிணைக்கப்பட்ட ஒரே வேலை, அதனால் தோல்வியுறும் ஒரு GPU முழுவதையும் நிறுத்திவிடலாம். 405B முன்பயிற்சியின் 54 நாள் காலத்தில் 466 வேலை இடையூறுகளை மெட்டாவின் ஆய்வறிக்கை எண்ணுகிறது. அவற்றில் 47 திட்டமிடப்பட்டவை, 419 திட்டமிடப்படாதவை; திட்டமிடப்படாதவற்றில் ஏறத்தாழ 78 சதவீதம் உறுதிப்படுத்தப்பட்ட அல்லது சந்தேகிக்கப்பட்ட வன்பொருள் கோளாறுகளுக்குக் காரணம் காட்டப்பட்டன. GPU சிக்கல்கள் மட்டுமே 58.7 சதவீதம். மூன்றுக்கு மட்டுமே கைமுறைத் தலையீடு தேவைப்பட்டது; குழு பயனுள்ள பயிற்சி நேரத்தை 90 சதவீதத்துக்கு மேல் வைத்திருந்தது.

மாதிரி அட்டை மின்சாரச் செலவைப் பட்டியலிடுகிறது. குடும்பத்தைப் பயிற்றுவித்தது இடம் சார்ந்த கணக்கீட்டில் 11,390 டன் CO2 சமமானதை உருவாக்கியது; அதில் 8,930 405B மாதிரிக்கு. சந்தை சார்ந்த அடிப்படையில் மெட்டா பூஜ்ஜியம் என்று தெரிவிக்கிறது, ஏனெனில் அது தனது மின் பயன்பாட்டை புதுப்பிக்கத்தக்க ஆற்றலுடன் ஈடுசெய்தது. டேட்டா சென்டர் மின்சாரம் குறித்த பரந்த கேள்வி IEA மற்றும் Berkeley Lab கணிப்புகள் பற்றிய இந்தப் பார்வையில் விவரிக்கப்பட்டுள்ளது.

பின்பயிற்சி உரைக் கணிப்பானை உதவியாளராக மாற்றுகிறது

முன்பயிற்சி பெற்ற மாதிரி உரையைத் தொடர்கிறது. அது கேள்விகளுக்கு நம்பகமாகப் பதிலளிப்பதில்லை. இதற்கான தீர்வை ஓப்பன்ஏஐயின் InstructGPT ஆய்வறிக்கை மூன்று படிகளில் வகுத்தது. ஒப்பந்தப் பணியாளர்கள் மாதிரிப் பதில்களை எழுதினர், அவற்றில் சாதாரண மேற்பார்வைக் கற்றலைக் கொண்டு மாதிரி செம்மைப்படுத்தப்பட்டது. பிறகு ஒப்பந்தப் பணியாளர்கள் ஒரே தூண்டுதலுக்கான பல மாதிரிப் பதில்களை வரிசைப்படுத்தினர், அவர்களின் வரிசைகளைக் கணிக்க ஒரு வெகுமதி மாதிரி பயிற்றுவிக்கப்பட்டது. இறுதியாக, வெகுமதி மாதிரியின் மதிப்பெண்ணை வெகுமதியாகக் கொண்டு, வலுவூட்டல் கற்றலால் மொழி மாதிரி செம்மைப்படுத்தப்பட்டது.

தரவு சிறியதாக இருந்தது. ஏறத்தாழ 40 ஒப்பந்தப் பணியாளர்கள் திட்டத்தில் வேலை செய்தனர், மூன்று தரவுத்தொகுப்புகளிலும் ஏறத்தாழ 13,000, 33,000, 31,000 தூண்டுதல்கள் இருந்தன. வெகுமதி மாதிரிக்கு 6 பில்லியன் அளவுருக்கள் இருந்தன. GPT-3 இன் முன்பயிற்சிக்கு 3,640 என்பதற்கு எதிராக, மேற்பார்வைப் படிக்கு 4.9 petaflop/s-days என்றும், 175 பில்லியன் அளவுரு முழு வலுவூட்டல் ஓட்டத்துக்கு 60 என்றும் ஆய்வறிக்கை கணக்கீட்டு ஆற்றலைக் குறிப்பிடுகிறது.

ஓப்பன்ஏஐயின் சொந்தத் தூண்டுதல்களில், 175 பில்லியன் அளவுரு GPT-3 இன் வெளியீட்டை விட 1.3 பில்லியன் அளவுரு InstructGPT இன் வெளியீட்டையே தரப்படுத்துநர்கள் விரும்பினர். முழு அளவு InstructGPT, GPT-3 ஐ விட 85 சதவீத நேரம் விரும்பப்பட்டது, 3 புள்ளிகள் முன்பின். TruthfulQA இல் அது உண்மையான, தகவல் நிறைந்த பதில்களை ஏறத்தாழ இரு மடங்கு அடிக்கடி கொடுத்தது. கொடுக்கப்பட்ட உரையைச் சுருக்குவது போன்ற மூடிய களப் பணிகளில், கற்பனையாகச் சேர்க்கப்பட்ட உள்ளடக்கம் 41 சதவீதத்திலிருந்து 21 சதவீதமாகக் குறைந்தது; மாதிரி மரியாதையுடன் இருக்கக் கேட்கப்பட்டபோது நச்சு வெளியீடு ஏறத்தாழ 25 சதவீதம் குறைவாக இருந்தது. SQuAD, DROP போன்ற அளவீடுகளில் ஏற்பட்ட சிறு வீழ்ச்சிகளான “alignment tax” ஐயும் ஆய்வறிக்கை தெரிவிக்கிறது; முன்பயிற்சிப் புதுப்பிப்புகளைக் கலந்ததால் அது பெருமளவு நீங்கியது.

Llama 3 அதே யோசனையைப் பயன்படுத்துகிறது, ஆனால் வேறு இறுதிப் படியுடன். மெட்டா மனிதர்களின் விருப்பத் தரவில் ஒரு வெகுமதி மாதிரியைப் பயிற்றுவித்தது, எடுத்துக்காட்டுகளில் செம்மைப்படுத்தியது, மாதிரியெடுக்கப்பட்ட பல பதில்களில் சிறந்ததை வெகுமதி மாதிரியால் தேர்ந்தெடுத்தது, பிறகு ஆறு சுற்றுகளில் Direct Preference Optimization ஐப் பயன்படுத்தியது. InstructGPT பயன்படுத்திய PPO வழிமுறையை மெட்டா முயன்றதாகவும், பெரிய அளவில் DPO க்கு குறைவான கணக்கீட்டு ஆற்றலே தேவைப்பட்டதாகவும் ஆய்வறிக்கை கூறுகிறது. மாதிரி அட்டை இந்தக் கட்டத்தை மேற்பார்வைச் செம்மைப்படுத்தல் மற்றும் மனிதக் கருத்திலிருந்து வலுவூட்டல் கற்றல் என்று சுருக்குகிறது. அதன் அட்டவணை, Llama 3.1 405B MMLU அளவீட்டில் பின்பயிற்சிக்கு முன் 85.2 உம் பின் 87.3 உம் பெறுவதைக் காட்டுகிறது.

பாதுகாப்புச் சோதனைகளும் மாதிரி அட்டையும்

பாதுகாப்புச் செம்மைப்படுத்தலுக்குப் பிறகு மெட்டா இரண்டு விஷயங்களை அளவிடுகிறது. விதிமீறல் விகிதம், பாதுகாப்புக் கொள்கையை மீறும் பதில்களை எண்ணுகிறது; தவறான மறுப்பு விகிதம், மாதிரி தவறாக நிராகரிக்கும் தீங்கற்ற கோரிக்கைகளை எண்ணுகிறது. எல்லாவற்றையும் மறுக்கும் மாதிரிக்கு விதிமீறல் விகிதம் சரியாக இருக்கும் என்பதால், ஆய்வறிக்கை அவற்றை ஒரு இணையாகவே கருதுகிறது. மாதிரியை வேண்டுமென்றே தாக்கும் சிவப்புக் குழுவில் இணையப் பாதுகாப்பு, எதிர்நிலை இயந்திரக் கற்றல், பொறுப்பான AI ஆகியவற்றில் நிபுணர்களும், பன்மொழி நிபுணர்களும் உள்ளனர். உள்ளீடுகளையும் வெளியீடுகளையும் வடிகட்டும் தனி மாதிரியான Llama Guard 3 ஐயும் மெட்டா வெளியிட்டது.

ஒரு வெளியீட்டுடன் வரும் சுருக்க ஆவணம் மாதிரி அட்டை; ஒரு மாதிரியின் நோக்கப் பயன்பாடுகளையும் குழுக்களிடையே அது எப்படிச் செயல்படுகிறது என்பதையும் தெரிவிப்பதற்கு 2018 இல் மார்கரெட் மிட்செல்லும் சக ஆசிரியர்களும் முன்மொழிந்த வடிவம் அது. Llama 3.1 அட்டை ஏறத்தாழ 15 டிரில்லியன் பயிற்சி டோக்கன்கள், 2023 டிசம்பர் அறிவு எல்லை, 128,000 டோக்கன் சூழல், மேலே சொன்ன GPU மணி நேரங்களும் உமிழ்வுகளும், மெட்டா விலக்கும் பயன்பாடுகள் ஆகியவற்றைத் தருகிறது.

இந்திய கம்ப்யூட்டில் உருவான இந்திய மாதிரிகள்

2026 பிப்ரவரி 24 தேதியிட்ட தேசிய மின்னாளுமைப் பிரிவின் அறிக்கை, தற்போதைய தேசிய AI உள்கட்டமைப்பு 38,000 GPU கள் என்றும், மேலும் 20,000 சேர்க்கப்பட உள்ளன என்றும் குறிப்பிடுகிறது. 2026 மார்ச் 6 அன்று சர்வம் AI இரண்டு திறந்த மாதிரிகளை வெளியிட்டு, பயிற்சி முழுவதும் IndiaAI திட்டத்தின் கீழ் வழங்கப்பட்ட கம்ப்யூட்டில் இந்தியாவுக்குள்ளேயே நடந்தது என்று கூறியது. ஒரு டோக்கனுக்கு 2.4 பில்லியன் அளவுருக்களைச் செயல்படுத்தும் தனது 30 பில்லியன் அளவுரு மாதிரிக்கு 16 டிரில்லியன் டோக்கன்கள் என்றும், 105 பில்லியன் அளவுரு மாதிரிக்கு 12 டிரில்லியன் என்றும் சர்வம் தெரிவிக்கிறது. அதன் டோக்கனைசர் அட்டவணையில் உள்ள 22 இந்திய மொழிகள் அனைத்தையும் உள்ளடக்குகிறது. இந்தத் திட்டம் IndiaAI திட்ட விளக்கக் கட்டுரையிலும் இந்தியாவின் சொந்த மொழிகளில் AI பற்றிய கட்டுரையிலும் விவரிக்கப்பட்டுள்ளது.

சர்வத்தின் பதிவு மூன்று முன்பயிற்சிக் கட்டங்களையும், பிறகு மேற்பார்வைச் செம்மைப்படுத்தலையும், பிறகு கணிதம், நிரலாக்கம், கருவிப் பயன்பாடு முழுவதும் சரிபார்க்கக்கூடிய சோதனைகளையும் ரூப்ரிக் அடிப்படையிலான மதிப்பீட்டையும் இணைக்கும் வெகுமதிகளுடன், ஒத்திசைவற்ற GRPO அடிப்படையிலான அமைப்பில் வலுவூட்டல் கற்றல் கட்டத்தையும் பட்டியலிடுகிறது.