Meta 15.6 ట్రిలియన్ టోకెన్లు మరియు 30.84 మిలియన్ GPU గంటలతో Llama 3 405Bకు శిక్షణ ఇచ్చింది, మరియు OpenAI మానవ రేటర్లు 175 బిలియన్ పారామీటర్ల GPT-3 కంటే 1.3 బిలియన్ పారామీటర్ల ట్యూన్ చేసిన మోడల్‌నే ఎక్కువగా ఇష్టపడ్డారు

Meta యొక్క ప్రధాన Llama 3 మోడల్‌లో 405 బిలియన్ పారామీటర్లు ఉన్నాయి, అంటే న్యూరల్ నెట్‌వర్క్ లోపల సర్దుబాటు చేయగల సంఖ్యలు, మరియు అది 15.6 ట్రిలియన్ టోకెన్ల నుండి నేర్చుకుంది, అంటే కొన్ని అక్షరాల పొడవున్న టెక్స్ట్ ముక్కలు. Llama 3.1 మోడల్ కార్డ్ ఈ ఒక్క మోడల్‌కు Nvidia H100 చిప్‌లపై 30.84 మిలియన్ GPU గంటలను, మూడు పరిమాణాల మొత్తం కుటుంబానికి 39.3 మిలియన్లను చూపిస్తుంది. దీన్ని వివరించే పేపర్, 23 జూలై 2024 తేదీతో, 405B మోడల్ 16,000 వరకు H100లపై శిక్షణ పొందిందని చెబుతుంది. (Meta పేపర్ 3.1 మోడళ్లకు Llama 3 అనే పేరునే వాడుతుంది, ఈ వ్యాసం కూడా అలాగే వాడుతుంది.)

Meta పేపర్ ఈ పనిని రెండు దశలుగా విభజిస్తుంది. ప్రీట్రైనింగ్ అపారమైన స్థాయిలో తర్వాతి పదాన్ని అంచనా వేయడం ద్వారా నెట్‌వర్క్‌కు భాషను నేర్పుతుంది. పోస్ట్-ట్రైనింగ్ తర్వాత సూచనలను పాటించేలా మరియు మానవ ప్రాధాన్యతలకు తగ్గట్టుగా దాన్ని ట్యూన్ చేస్తుంది. ఈ వ్యాసం రెండింటినీ క్రమంలో వివరిస్తుంది, ల్యాబ్‌లు తమ సొంత పేపర్లలో మరియు మోడల్ కార్డ్‌లలో ముద్రించిన సంఖ్యలను వాడుతూ, ప్రతి సంఖ్య ఎక్కడి నుండి వచ్చిందో చెబుతూ.

ఏదైనా నేర్చుకునే ముందే టెక్స్ట్‌ను వడపోస్తారు

ముడి వెబ్ టెక్స్ట్ నిండా డూప్లికేట్లు, స్పామ్ మరియు చెత్త ఉంటుంది, అందుకే ప్రతి ల్యాబ్ మొదట దాన్ని శుభ్రం చేస్తుంది. OpenAI GPT-3 పేపర్ (2020) Common Crawl యొక్క 41 నెలవారీ స్నాప్‌షాట్‌లతో మొదలవుతుంది, ఇది వెబ్ యొక్క ఒక పబ్లిక్ ఆర్కైవ్, 2016 నుండి 2019 వరకు కవర్ చేస్తుంది. వడపోతకు ముందు అది 45 టెరాబైట్ల సంపీడన టెక్స్ట్, వడపోత తర్వాత 570 గిగాబైట్లు, సుమారు 400 బిలియన్ టోకెన్లు.

వడపోతలో రెండు భాగాలు ఉన్నాయి. OpenAI తన ఉన్నత-నాణ్యత రిఫరెన్స్ సేకరణలను ముడి Common Crawl నుండి వేరు చేయడానికి ఒక క్లాసిఫైయర్‌కు శిక్షణ ఇచ్చింది, తర్వాత క్లాసిఫైయర్ ఎక్కువ స్కోరు ఇచ్చిన డాక్యుమెంట్లకు ప్రాధాన్యం ఇచ్చింది. అది డేటాసెట్ల మధ్య పంచుకున్న కాపీలతో సహా దాదాపు-డూప్లికేట్ డాక్యుమెంట్లను కూడా తొలగించింది. వడపోతలోని ఒక బగ్ వల్ల బెంచ్‌మార్క్ టెస్ట్ సెట్‌లతో కొన్ని అతివ్యాప్తులు తప్పిపోయాయని, దాన్ని సరిచేయడానికి మళ్లీ శిక్షణ ఇవ్వడం చాలా ఖర్చుతో కూడుకున్నదని రచయితలు జోడిస్తారు.

Llama 3 పైప్‌లైన్ ఇంకా పెద్దది. దాని పేపర్ ప్రకారం, వ్యక్తిగత సమాచారం లేదా అడల్ట్ కంటెంట్ ఎక్కువగా ఉన్న వెబ్‌సైట్లను తొలగించడం, పునరావృత పంక్తులను తీసివేయడం, బ్లాక్ లిస్ట్‌లు పట్టుకోలేని అడల్ట్ సైట్లను గుర్తించడానికి “dirty words” లెక్కించడం, మరియు వేగవంతమైన క్లాసిఫైయర్లతో పాటు నెమ్మదైన RoBERTa-ఆధారిత క్లాసిఫైయర్లతో కూడా నాణ్యతను స్కోరు చేయడం జరుగుతుంది. ఒక భాషా డిటెక్టర్ డాక్యుమెంట్లను 176 భాషలుగా వర్గీకరిస్తుంది. ఈ స్థాయిలో టెక్స్ట్‌ను కాపీ చేయడం చట్టబద్ధమా కాదా అనేది కోర్టుల్లో పరీక్షకు నిలుస్తోంది, 2026లోని మూడు తీర్పులు చూపిస్తున్నట్టు. Meta చెప్పేదాని ప్రకారం తుది మిశ్రమం సుమారు 50 శాతం సాధారణ జ్ఞానం, 25 శాతం గణితం మరియు తార్కికం, 17 శాతం కోడ్ మరియు 8 శాతం బహుభాషా టెక్స్ట్.

టెక్స్ట్‌ను టోకెన్లుగా విభజించడం

నెట్‌వర్క్ అక్షరాలను లేదా పూర్తి పదాలను చదవదు. అది టోకెన్లను చదువుతుంది, అంటే స్థిరమైన పదకోశం నుండి తీసుకున్న ముక్కలు. అరుదైన పదాలను బైట్ పెయిర్ ఎన్‌కోడింగ్ అనే పద్ధతితో చిన్న సబ్‌వర్డ్ యూనిట్లుగా విడగొట్టడం వల్ల ఒక అనువాద వ్యవస్థ తాను ఎప్పుడూ చూడని పదాలను కూడా నిర్వహించగలదని 2015లో Sennrich, Haddow మరియు Birch చూపించారు.

2017 Transformer పేపర్ ఆ పద్ధతిని ఇంగ్లీష్ మరియు జర్మన్‌కు సుమారు 37,000 టోకెన్ల ఉమ్మడి పదకోశంతో వాడింది. Llama 3 128,000 వాడుతుంది: OpenAI యొక్క ఓపెన్ tiktoken టోకెనైజర్ నుండి 100,000, ఇంగ్లీషేతర భాషల కోసం జోడించిన 28,000. పెద్ద పదకోశం ఇంగ్లీష్ సంపీడనాన్ని ఒక టోకెన్‌కు 3.17 అక్షరాల నుండి 3.94కు పెంచిందని, దాంతో అంతే శిక్షణ కంప్యూట్ ఎక్కువ టెక్స్ట్‌ను కవర్ చేస్తుందని Meta నివేదిస్తుంది.

ప్రీట్రైనింగ్ అంటే చాలా పెద్ద స్థాయిలో తర్వాతి-పదం అంచనా

దీన్ని ఆచరణీయం చేసిన డిజైన్ Transformer, Google మరియు University of Toronto బృందం నుండి వచ్చింది, ఇందులో Ashish Vaswani మరియు Noam Shazeer ఉన్నారు. ఇది పాత దశలవారీ రికరెంట్ డిజైన్‌ను వదిలేసి అటెన్షన్‌పై ఆధారపడుతుంది, ఒక ప్రకరణంలోని ప్రతి పదం మిగతా ప్రతి పదానికి ఎంత బరువు ఇవ్వాలో నిర్ణయించే యంత్రాంగం. పేపర్ యొక్క పెద్ద మోడల్ ఎనిమిది P100 GPUలపై 3.5 రోజుల తర్వాత ఇంగ్లీష్ నుండి జర్మన్‌కు 28.4 BLEU, ఒక అనువాద స్కోరు, సాధించింది. దాని బేస్ మోడల్‌లో 65 మిలియన్ పారామీటర్లు ఉన్నాయి మరియు 12 గంటలు శిక్షణ పొందింది.

ప్రీట్రైనింగ్ తర్వాత ఆ విధానాన్ని విస్తరించింది. GPT-3లో 175 బిలియన్ పారామీటర్లు ఉన్నాయి, 2,048 టోకెన్ల కాంటెక్స్ట్ విండోను చదువుతుంది మరియు Microsoft క్లస్టర్‌లోని V100 GPUలతో 300 బిలియన్ టోకెన్లపై శిక్షణ పొందింది. InstructGPT పేపర్ దాని ప్రీట్రైనింగ్‌ను 3,640 petaflop/s-days గా చెబుతుంది, ఈ యూనిట్ 8.64 x 10^19 ఫ్లోటింగ్-పాయింట్ ఆపరేషన్లకు సమానం.

Llama 3 405Bలో 126 లేయర్లు ఉన్నాయి మరియు 3.8 x 10^25 ఆపరేషన్లకు ప్రీట్రైన్ చేయబడింది, ఇది అతి పెద్ద Llama 2 కంటే దాదాపు 50 రెట్లు అని Meta చెబుతుంది. శిక్షణ 4 మిలియన్ టోకెన్ల బ్యాచ్‌లతో మొదలై 16 మిలియన్లకు పెరిగింది. చివరి దశలో కాంటెక్స్ట్ విండో ఆరు అడుగుల్లో 8,000 నుండి 128,000 టోకెన్లకు పొడిగించబడింది, మరియు ఎనీలింగ్ అనే తుది దశ ఉన్నత-నాణ్యత డేటాను వాడింది.

ఇచ్చిన పరిమాణం గల మోడల్ ఎన్ని టోకెన్లు చూడాలి

స్థిరమైన కంప్యూట్ బడ్జెట్ ఉన్న ల్యాబ్ దాన్ని పెద్ద మోడల్‌కు మరియు ఎక్కువ టెక్స్ట్‌కు మధ్య పంచుకోవాలి. DeepMind యొక్క Chinchilla పేపర్ (మార్చి 2022) 70 మిలియన్ నుండి 16 బిలియన్లకు పైగా పారామీటర్లు గల 400కు పైగా మోడళ్లకు 5 నుండి 500 బిలియన్ టోకెన్లపై శిక్షణ ఇచ్చింది. మోడల్ పరిమాణం మరియు శిక్షణ టోకెన్లు కలిసి పెరగాలని, అంటే ఒకటి రెట్టింపైన ప్రతిసారీ మరొకటి కూడా రెట్టింపు కావాలని దాని కనుగొన్న విషయం.

DeepMind దీన్ని Chinchillaతో పరీక్షించింది, ఇది 1.4 ట్రిలియన్ టోకెన్లపై శిక్షణ పొందిన 70 బిలియన్ పారామీటర్ల మోడల్, 300 బిలియన్ టోకెన్లు చూసిన దాని 280 బిలియన్ పారామీటర్ల Gopher అంతే కంప్యూట్ వాడింది. విస్తృత శ్రేణి పనుల్లో Chinchilla, Gopher మరియు GPT-3ని అధిగమించిందని, MMLU బెంచ్‌మార్క్‌లో 67.5 శాతం సాధించిందని పేపర్ నివేదిస్తుంది.

Meta తన సొంత ఫిట్‌ను నడిపింది. 3.8 x 10^25 ఆపరేషన్ల వద్దకు విస్తరించి చూస్తే 16.55 ట్రిలియన్ టోకెన్లపై 402 బిలియన్ పారామీటర్ల మోడల్ సూచించబడింది, మరియు బృందం 405 బిలియన్ పారామీటర్ల వద్ద స్థిరపడింది. సాదా భాగహారం ప్రకారం అది Llama 3 405Bకు ఒక పారామీటర్‌కు సుమారు 38 టోకెన్లు, Chinchillaకు 20, GPT-3కు 2 కంటే తక్కువ.

16,000 చిప్‌ల మధ్య ఏది తప్పుగా వెళ్తుంది

శిక్షణ ఒకే సమన్వయ పని, కాబట్టి ఒక్క GPU విఫలమైనా మొత్తం ఆగిపోవచ్చు. 405B ప్రీట్రైనింగ్‌లోని 54 రోజుల వ్యవధిలో 466 జాబ్ అంతరాయాలను Meta పేపర్ లెక్కిస్తుంది. వాటిలో 47 ముందుగా ప్రణాళిక చేసినవి మరియు 419 కానివి, ప్రణాళిక లేనివాటిలో సుమారు 78 శాతం ధృవీకరించిన లేదా అనుమానిత హార్డ్‌వేర్ లోపాల వల్ల వచ్చాయి. GPU సమస్యలే 58.7 శాతం. కేవలం మూడింటికి మాత్రమే మాన్యువల్ జోక్యం అవసరమైంది, మరియు బృందం సమర్థ శిక్షణ సమయాన్ని 90 శాతం కంటే పైన ఉంచింది.

మోడల్ కార్డ్ శక్తి బిల్లును జాబితా చేస్తుంది. కుటుంబానికి శిక్షణ ఇవ్వడం స్థాన-ఆధారిత లెక్కింపు ప్రకారం 11,390 టన్నుల CO2 సమానమైనదాన్ని ఉత్పత్తి చేసింది, వాటిలో 8,930 405B మోడల్‌కు. మార్కెట్-ఆధారిత లెక్కింపులో Meta సున్నాను నివేదిస్తుంది, ఎందుకంటే అది తన విద్యుత్ వినియోగాన్ని పునరుత్పాదక శక్తితో సరిపోల్చింది. డేటా-సెంటర్ విద్యుత్ గురించిన విస్తృత ప్రశ్న IEA మరియు Berkeley Lab అంచనాలపై ఈ పరిశీలనలో ఉంది.

పోస్ట్-ట్రైనింగ్ టెక్స్ట్ అంచనా వ్యవస్థను అసిస్టెంట్‌గా మారుస్తుంది

ప్రీట్రైన్ చేసిన మోడల్ టెక్స్ట్‌ను కొనసాగిస్తుంది. అది ప్రశ్నలకు నమ్మదగినట్టు సమాధానం ఇవ్వదు. OpenAI InstructGPT పేపర్ ఈ సమస్యకు పరిష్కారాన్ని మూడు దశల్లో వివరించింది. కాంట్రాక్టర్లు ఉదాహరణ సమాధానాలు రాశారు, మరియు మోడల్ వాటిపై సాధారణ పర్యవేక్షిత అభ్యాసంతో ఫైన్-ట్యూన్ చేయబడింది. తర్వాత కాంట్రాక్టర్లు ఒకే ప్రాంప్ట్‌కు మోడల్ ఇచ్చిన అనేక సమాధానాలకు ర్యాంకులు ఇచ్చారు, వారి ర్యాంకింగ్‌లను అంచనా వేయడానికి ఒక రివార్డ్ మోడల్‌కు శిక్షణ ఇవ్వబడింది. చివరగా రివార్డ్ మోడల్ స్కోరును రివార్డ్‌గా వాడుతూ భాషా మోడల్‌ను రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌తో ట్యూన్ చేశారు.

డేటా చిన్నది. ఈ ప్రాజెక్టుపై సుమారు 40 మంది కాంట్రాక్టర్లు పనిచేశారు, మరియు మూడు డేటాసెట్లలో సుమారు 13,000, 33,000 మరియు 31,000 ప్రాంప్ట్‌లు ఉన్నాయి. రివార్డ్ మోడల్‌లో 6 బిలియన్ పారామీటర్లు ఉన్నాయి. పర్యవేక్షిత దశకు 4.9 మరియు 175 బిలియన్ పారామీటర్ల పూర్తి రీఇన్‌ఫోర్స్‌మెంట్ రన్‌కు 60 petaflop/s-days కంప్యూట్‌ను పేపర్ చెబుతుంది, GPT-3 ప్రీట్రైనింగ్‌కు 3,640తో పోలిస్తే.

OpenAI యొక్క సొంత ప్రాంప్ట్‌లపై, 175 బిలియన్ పారామీటర్ల GPT-3 అవుట్‌పుట్ కంటే 1.3 బిలియన్ పారామీటర్ల InstructGPT అవుట్‌పుట్‌నే రేటర్లు ఇష్టపడ్డారు. పూర్తి-పరిమాణ InstructGPTని GPT-3 కంటే 85 శాతం సందర్భాల్లో ఇష్టపడ్డారు, 3 పాయింట్లు అటూ ఇటూగా. TruthfulQAలో అది నిజమైన మరియు సమాచారాత్మక సమాధానాలను దాదాపు రెండింతలు ఎక్కువసార్లు ఇచ్చింది. ఇచ్చిన టెక్స్ట్‌ను సంక్షిప్తీకరించడం వంటి క్లోజ్డ్-డొమైన్ పనుల్లో, కల్పిత కంటెంట్ 41 నుండి 21 శాతానికి తగ్గింది, మరియు గౌరవంగా ఉండమని అడిగినప్పుడు విషపూరిత అవుట్‌పుట్ సుమారు 25 శాతం తక్కువగా ఉంది. SQuAD మరియు DROP వంటి బెంచ్‌మార్క్‌లలో చిన్న తగ్గుదలలను, అంటే “alignment tax”ను, కూడా పేపర్ నివేదిస్తుంది, ప్రీట్రైనింగ్ అప్‌డేట్‌లను కలపడం వల్ల అవి చాలావరకు తొలగిపోయాయి.

Llama 3 అదే ఆలోచనను వేరే చివరి అడుగుతో వాడుతుంది. Meta మానవ ప్రాధాన్య డేటాపై ఒక రివార్డ్ మోడల్‌కు శిక్షణ ఇచ్చింది, ఉదాహరణలపై ఫైన్-ట్యూన్ చేసింది, నమూనాగా తీసిన అనేక సమాధానాల్లో ఉత్తమమైనదాన్ని రివార్డ్ మోడల్‌తో ఎంచుకుంది, ఆపై ఆరు రౌండ్లలో Direct Preference Optimization వర్తింపజేసింది. InstructGPT వాడిన అల్గారిథమ్ PPOని Meta ప్రయత్నించిందని, పెద్ద స్థాయిలో DPOకి తక్కువ కంప్యూట్ అవసరమని కనుగొందని పేపర్ చెబుతుంది. ఈ దశను పర్యవేక్షిత ఫైన్-ట్యూనింగ్ ప్లస్ మానవ ఫీడ్‌బ్యాక్ నుండి రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌గా మోడల్ కార్డ్ సంగ్రహిస్తుంది. దాని పట్టిక Llama 3.1 405B MMLU బెంచ్‌మార్క్‌లో పోస్ట్-ట్రైనింగ్‌కు ముందు 85.2 మరియు తర్వాత 87.3 స్కోరు చేసిందని చూపిస్తుంది.

భద్రతా పరీక్షలు మరియు మోడల్ కార్డ్

భద్రతా ట్యూనింగ్ తర్వాత Meta రెండు విషయాలను కొలుస్తుంది. ఉల్లంఘన రేటు భద్రతా విధానాన్ని ఉల్లంఘించే సమాధానాలను లెక్కిస్తుంది, మరియు తప్పుడు తిరస్కరణ రేటు మోడల్ పొరపాటున తిరస్కరించే హానిరహిత అభ్యర్థనలను లెక్కిస్తుంది. అన్నింటినీ తిరస్కరించే మోడల్‌కు ఉల్లంఘన రేటు పరిపూర్ణంగా ఉంటుంది కాబట్టి, పేపర్ వాటిని జంటగా పరిగణిస్తుంది. ఉద్దేశపూర్వకంగా మోడల్‌పై దాడి చేసే రెడ్ టీమ్‌లో సైబర్‌సెక్యూరిటీ, అడ్వర్సేరియల్ మెషిన్ లెర్నింగ్ మరియు బాధ్యతాయుత AI నిపుణులు, అలాగే బహుభాషా నిపుణులు ఉన్నారు. ఇన్‌పుట్‌లను మరియు అవుట్‌పుట్‌లను పరిశీలించే ప్రత్యేక మోడల్ Llama Guard 3ని కూడా Meta విడుదల చేసింది.

ఒక విడుదలతో పాటు వచ్చే సారాంశ పత్రం మోడల్ కార్డ్, ఒక మోడల్ ఉద్దేశించిన వినియోగాలను మరియు వివిధ సమూహాల్లో అది ఎలా పనిచేస్తుందో నివేదించడానికి 2018లో Margaret Mitchell మరియు సహచరులు ప్రతిపాదించిన ఫార్మాట్. Llama 3.1 కార్డ్ సుమారు 15 ట్రిలియన్ శిక్షణ టోకెన్లు, డిసెంబర్ 2023 నాలెడ్జ్ కటాఫ్, 128,000-టోకెన్ కాంటెక్స్ట్, పైన చెప్పిన GPU గంటలు మరియు ఉద్గారాలు, మరియు Meta మినహాయించిన వినియోగాలను ఇస్తుంది.

భారతీయ కంప్యూట్‌పై నిర్మించిన భారతీయ మోడళ్లు

24 ఫిబ్రవరి 2026 నాటి National e-Governance Division విడుదల ప్రస్తుత జాతీయ AI మౌలిక సదుపాయాన్ని 38,000 GPUలుగా, మరో 20,000 జోడించబడనున్నట్టు చెబుతుంది. 6 మార్చి 2026న Sarvam AI రెండు ఓపెన్ మోడళ్లను విడుదల చేసింది, మరియు IndiaAI మిషన్ కింద అందించిన కంప్యూట్‌తో శిక్షణ పూర్తిగా భారత్‌లోనే జరిగిందని చెప్పింది. Sarvam తన 30 బిలియన్ పారామీటర్ల మోడల్‌కు 16 ట్రిలియన్ టోకెన్లను నివేదిస్తుంది, ఇది ఒక టోకెన్‌కు 2.4 బిలియన్ పారామీటర్లను సక్రియం చేస్తుంది, మరియు దాని 105 బిలియన్ పారామీటర్ల మోడల్‌కు 12 ట్రిలియన్లు. దాని టోకెనైజర్ 22 షెడ్యూల్డ్ భారతీయ భాషలన్నింటినీ కవర్ చేస్తుంది. ఈ కార్యక్రమం గురించి IndiaAI మిషన్ వివరణలో మరియు భారత్ తన సొంత భాషల్లో AI నిర్మిస్తోంది అనే రచనలో ఉంది.

Sarvam పోస్ట్ ప్రీట్రైనింగ్ యొక్క మూడు దశలను, తర్వాత పర్యవేక్షిత ఫైన్-ట్యూనింగ్‌ను, తర్వాత అసింక్రోనస్ GRPO-ఆధారిత వ్యవస్థపై ఒక రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ దశను జాబితా చేస్తుంది, గణితం, కోడింగ్ మరియు టూల్ వినియోగం అంతటా ధృవీకరించదగిన తనిఖీలను మరియు రూబ్రిక్-ఆధారిత స్కోరింగ్‌ను కలిపే రివార్డ్‌లతో.