चित्रण: tuput
मराठी
२०२२ आणि २०२३ मधील चार शोधनिबंधांनी मोठ्या भाषा मॉडेलला लागणारी मेमरी कमी केली, ८-बिट LLM.int8 पासून ४-बिट GPTQ, AWQ आणि QLoRA पर्यंत. प्रत्येक निबंधाने काय मोजले, लेखकांच्याच आकड्यांत, आणि आज कोणते फॉरमॅट वापरात आहेत, ते येथे आहे.
ऑगस्ट २०२२ मध्ये टिम डेटमर्स, माइक लुईस, युनेस बेलकाडा आणि ल्यूक झेटलमॉयर यांनी भाषा मॉडेलची वेट्स १६ ऐवजी ८ बिटांत साठवण्याची पद्धत मांडली. त्यामुळे मॉडेल चालवण्यासाठी लागणारी मेमरी निम्मी झाली, आणि १७५ अब्ज पॅरामीटरपर्यंतच्या त्यांच्या चाचण्यांत अचूकता घटली नाही. ऑक्टोबर २०२२ मध्ये ETH झ्युरिक आणि IST ऑस्ट्रियाच्या चमूने GPTQ प्रसिद्ध केले, ज्याने वेट्स ३ किंवा ४ बिटांपर्यंत खाली आणली आणि १७५ अब्ज पॅरामीटरचे OPT मॉडेल एकाच ८० GB च्या ग्राफिक्स कार्डवर चालवले. मे २०२३ मध्ये QLoRA निबंधाने ६५ अब्ज पॅरामीटरचे मॉडेल एकाच ४८ GB कार्डवर फाइन-ट्यून केले, ज्यासाठी सामान्य १६-बिट रूपात ७८० GB हून अधिक लागते, असे त्याचे लेखक सांगतात.
हे सर्व क्वांटायझेशन आहे: मॉडेलचे आकडे कमी बिटांनी साठवणे. हगिंग फेसच्या दस्तऐवजात त्याचे वर्णन असे केले आहे की वेट्स कमी अचूकतेवर ठेवून, शक्य तितकी अचूकता टिकवण्याचा प्रयत्न करत, मॉडेल लोड करण्यासाठी आणि वापरण्यासाठी लागणारी मेमरी कमी करणे. हा लेख निबंधांचा क्रमाने आढावा घेतो, प्रत्येकाने काय मोजले ते सांगतो, आणि कोणते दावे केवळ लेखकांकडून किंवा हार्डवेअर विकणाऱ्या कंपनीकडून आले आहेत ते नमूद करतो.
वेट म्हणजे एक संख्या, आणि बिट ठरवतात ती किती बारकाईने लिहिली जाते
भाषा मॉडेलचे पॅरामीटर, म्हणजेच वेट्स, ही प्रशिक्षणात शिकलेली संख्या असतात. GPT-3 मध्ये त्यांची संख्या १७५ अब्ज आहे. प्रत्येकी दोन बाइट (१६ बिट) धरल्यास ती ३५० GB होते, हा आकडा AWQ निबंधात दिला आहे. GPTQ निबंध ३२६ GB मोजतो, कारण तो बायनरी गिगाबाइट वापरतो. GPTQ चे लेखक म्हणतात की हे सर्वोच्च दर्जाच्या एकट्या ग्राफिक्स कार्डच्या क्षमतेपेक्षाही जास्त आहे, आणि AWQ निबंध नोंदवतो की Nvidia च्या नव्या B200 मध्ये १९२ GB आहे.
१६-बिट संख्या ६५,५३६ वेगवेगळे नमुने घेऊ शकते, ८-बिट संख्या २५६ आणि ४-बिट संख्या १६. हे साधे गणित आहे, आणि संपूर्ण देवाणघेवाण तीच आहे. NVIDIA चा NVFP4 वरील लेख ४-बिट फ्लोटिंग-पॉइंट मूल्य घेऊ शकणारी परिमाणे सांगतो: ०, ०.५, १, १.५, २, ३, ४ आणि ६, चिन्हासह. मॅट्रिक्समधील प्रत्येक वेट यातील एका बिंदूवर पूर्णांकित करावे लागते, आणि त्याआधी मॅट्रिक्सला असे प्रमाणित केले जाते की त्यातील सर्वात मोठे मूल्य श्रेणीच्या टोकाला येईल.
येथे एक काल्पनिक उदाहरण आहे, कोणत्याही निबंधातून घेतलेले नाही. वेट्सच्या एका ओळीत ०.०२ आणि ०.४ जवळची मूल्ये असून एक १२ वर असेल, तर ८ बिटांसाठी प्रमाणित केल्यावर श्रेणीत सुमारे ०.०९ ची पावले पडतात, आणि ०.०२ शून्यावर पूर्णांकित होते. एक मोठे मूल्य इतर सर्वांची जाळी खडबडीत करते. खालील पद्धती या समस्येला हाताळण्याचे वेगवेगळे मार्ग आहेत.
प्रत्यक्ष फॉरमॅट स्केल स्थिरांकही बाळगतात, म्हणून “४-बिट” हे चार बिटांपेक्षा थोडे जास्त असते. llama.cpp चा README Llama 3.1 8B ची सारणी देतो: १६ बिटांवर १६.०००५ बिट प्रति वेट आणि १४.९६ GiB, त्याच्या ८-बिट फॉरमॅट Q8_0 मध्ये ८.५००८ बिट आणि ७.९५ GiB, आणि त्याच्या उदाहरणांत वापरलेल्या ४-बिट फॉरमॅट Q4_K_M मध्ये ४.८९४४ बिट आणि ४.५८ GiB. NVIDIA चा NVFP4 प्रत्येक १६ मूल्यांमागे एक ८-बिट स्केल साठवतो, जो तो प्रति मूल्य ४.५ बिट मोजतो.
LLM.int8(): ज्या ०.१ टक्के मूल्यांनी ८-बिट मोडले
NeurIPS 2022 मध्ये सादर झालेला LLM.int8() निबंध एका अपयशापासून सुरू होतो. आधीच्या ८-बिट पद्धतींचा अभ्यास केवळ ३५ कोटी पॅरामीटरपेक्षा लहान मॉडेलवर झाला होता, आणि मॉडेल मोठे होताना साधे ८-बिट पूर्णांकन अपयशी ठरते, असे लेखकांना आढळले. सुमारे ६.७ अब्ज पॅरामीटरपासून, काही मोजक्या छुप्या मितींमध्ये इतरांपेक्षा २० पट मोठी मूल्ये असतात. ६.७ अब्जावर, ते प्रति क्रम सुमारे १,५०,००० अशी टोकाची मूल्ये नोंदवतात, जी केवळ ६ फीचर मितींत एकवटलेली आहेत. त्या मिती शून्यावर आणल्याने पेरप्लेक्सिटी, ज्यात कमी गुण चांगला, ती ६०० ते १,००० टक्क्यांनी बिघडली, जरी त्या सुमारे ०.१ टक्के फीचर्स आहेत.
उपाय म्हणजे विभागणी. ६ किंवा अधिक परिमाणाचे मूल्य असलेल्या मिती १६-बिटमध्ये गुणल्या जातात, आणि उरलेल्या सुमारे ९९.९ टक्के ८-बिटमध्ये, प्रत्येक अंतर्गत गुणाकारासाठी वेगळ्या स्केलसह. निबंधाच्या C4 चाचणीवर, १३ अब्ज पॅरामीटरच्या मॉडेलने ३२-बिटमध्ये १२.४५ पेरप्लेक्सिटी मिळवली, साध्या ८-बिट पूर्णांकनासह १९.०८, आणि LLM.int8() सह १२.४५. लेखक १७५ अब्ज पॅरामीटरपर्यंतच्या OPT मॉडेलवर कोणतीही घट नोंदवत नाहीत आणि म्हणतात की त्यामुळे OPT-175B आणि BLOOM हे ग्राहक GPU असलेल्या एकाच सर्व्हरवर वापरण्यायोग्य होतात. त्यांचे सॉफ्टवेअर हगिंग फेस Transformers मध्ये समाविष्ट झाले.
ते एक मर्यादाही सांगतात. ६.७ अब्ज पॅरामीटरपेक्षा लहान मॉडेलवर ८-बिट पद्धत १६-बिटपेक्षा हळू चालू शकते, जरी ती मॉडेल बहुतेक GPU वर तरीही बसतात, आणि १७५ अब्ज पॅरामीटरच्या मॉडेलच्या मोठ्या मॅट्रिक्स गुणाकारांवर ती सुमारे दुप्पट वेगवान आहे.
GPTQ: प्रशिक्षणानंतर सुमारे चार GPU तासांत संकुचन
LLM.int8() ८ बिट राखते. GPTQ निबंध, एलियास फ्रँटार, सालेह अश्कबूस, टॉर्स्टन होफलर आणि डॅन अलिस्टार्ह यांचा, यांनी आणखी खाली आणि पुन्हा प्रशिक्षणाशिवाय लक्ष्य ठेवले. ही एक-फेरीची पद्धत आहे, म्हणजे तयार मॉडेल अंदाजे द्वितीय-क्रमाच्या माहितीचा वापर करून एकाच फेरीत पूर्णांकित केले जाते, आणि लेखक एका A100 वर सुमारे चार GPU तासांत १७५ अब्ज पॅरामीटरचे मॉडेल क्वांटाइझ केल्याचे नोंदवतात.
त्याची मुख्य सारणी OPT-175B वर आहे, WikiText2 पेरप्लेक्सिटीत मोजलेली. १६-बिट मॉडेलला ८.३४ मिळतात. ४ बिटांवर GPTQ ला ८.३७ मिळतात, तर साधे जवळच्या संख्येवर पूर्णांकन १०.५४ देते. ३ बिटांवर जवळच्या संख्येवर पूर्णांकन सुमारे ७,३०० वर कोसळते आणि GPTQ ला ८.६८ मिळतात. लेखक अचूकतेतील घट नगण्य म्हणतात आणि नोंदवतात की मोठी मॉडेल साधारणपणे क्वांटाइझ करायला सोपी दिसली, OPT-66B हा अपवाद.
मेमरीचे गणित निबंधात आहे. ३ बिटांवर OPT-175B सुमारे ६३ GB घेते, शिवाय २,०४८ टोकनांवर मागील कीज आणि व्हॅल्यूजच्या कॅशेसाठी सुमारे ९ GB, म्हणून ते एका ८० GB कार्डात बसते. लेखक म्हणतात की १६-बिट चालवायला अशी पाच कार्डे लागतात आणि LLM.int8() ला तीन. ते A100 वर १६-बिटपेक्षा ३.२५ पट आणि स्वस्त A6000 वर ४.५ पट वेगवान जनरेशन नोंदवतात, आणि सांगतात की हा फायदा कमी मेमरी लोड करण्यातून येतो, कारण मुख्य प्रवाहातील हार्डवेअर तेव्हा १६-बिट आणि ४-बिट संख्या थेट गुणू शकत नव्हते.
AWQ: ऍक्टिव्हेशन्स पाहून निवडलेल्या १ टक्का वेट्सचे संरक्षण
AWQ निबंधाचे पहिले लेखक जी लिन आणि संबंधित लेखक MIT चे सॉंग हान आहेत. तो एका निरीक्षणापासून सुरू होतो: सर्व वेट्स सारख्याच महत्त्वाची नसतात. केवळ सुमारे १ टक्का वेट्स १६-बिटमध्ये ठेवल्याने उरलेली कमी अचूकतेवर पूर्णांकित करण्याचे नुकसान खूप कमी होते.
कोणता १ टक्का, हा शोध आहे. त्याची तक्ता १ ही OPT-6.7B ३ बिटांवर, १२८ वेट्सच्या गटांसह वापरते, WikiText पेरप्लेक्सिटीत मोजलेली, जिथे १६-बिट मॉडेलला १०.८६ आणि जवळच्या संख्येवर पूर्णांकनाला २३.५४ मिळतात. १ टक्का वेट्स १६-बिटमध्ये ठेवल्यास, त्यांना येणाऱ्या ऍक्टिव्हेशन्स किती मोठ्या आहेत त्यानुसार निवडून, ११.३९ मिळतात. तोच वाटा वेट्सच्या स्वतःच्या आकारानुसार निवडल्यास २२.३७ मिळतात, आणि यादृच्छिक निवडल्यास २४.२३. महत्त्वाची वेट्स मॉडेलमधून वाहणाऱ्या डेटावरून सापडतात, वेट्सवरून नाही.
मिश्र १६-बिट आणि ४-बिट साठवण हार्डवेअरसाठी गैरसोयीची आहे, म्हणून AWQ पूर्णांकनाआधी महत्त्वाच्या चॅनेल्स वर स्केल करते, ज्यामुळे विभागणीशिवाय तसेच गुण मिळतात. लेखक त्याला TinyChat या इन्फरन्स प्रणालीसोबत जोडतात आणि डेस्कटॉप, लॅपटॉप आणि मोबाइल GPU वर हगिंग फेसच्या १६-बिट कोडपेक्षा सरासरी ३.२ ते ३.३ पट वेग नोंदवतात. ते ६४ GB असलेल्या एकाच Jetson Orin वर Llama-2-70B आणि ८ GB च्या लॅपटॉप RTX 4070 वर प्रति सेकंद ३० टोकन या वेगाने १३ अब्ज पॅरामीटरचे मॉडेल नोंदवतात. ही लेखकांची मोजमापे आहेत. निबंधाच्या २०२६ च्या सुधारित आवृत्तीत MLSys 2024 सर्वोत्तम निबंध पुरस्काराचा उल्लेख आहे.
LoRA आणि QLoRA: गोठवलेल्या ४-बिट मॉडेलचे फाइन-ट्यूनिंग
फाइन-ट्यूनिंग म्हणजे नव्या डेटावर मॉडेलला पुन्हा प्रशिक्षण देणे, आणि ते चालवण्यापेक्षा खूप जास्त मेमरी खाते. जून २०२१ मध्ये मायक्रोसॉफ्टच्या एडवर्ड हू आणि सहकाऱ्यांनी मांडलेल्या LoRA ने पूर्वप्रशिक्षित वेट्स गोठवली आणि त्याऐवजी जोडलेली लहान मॅट्रिक्स प्रशिक्षित केली. GPT-3 175B साठी लेखक Adam ऑप्टिमायझरने केलेल्या फाइन-ट्यूनिंगपेक्षा १०,००० पट कमी प्रशिक्षणयोग्य पॅरामीटर आणि ३ पट कमी GPU मेमरी नोंदवतात, त्यांनी चाचणी केलेल्या मॉडेलवर गुणवत्ता बरोबरीची किंवा चांगली, आणि मॉडेल चालताना कोणताही वाढीव विलंब नाही.
QLoRA ने दोन कल्पना जोडल्या. ते पूर्वप्रशिक्षित मॉडेल ४ बिटांत गोठवलेले ठेवते आणि ग्रेडियंट्स त्यातून मागे पाठवून LoRA अडॅप्टर्समध्ये नेते. निबंध तीन भाग जोडतो. NormalFloat 4, म्हणजे NF4, उपलब्ध १६ मूल्ये प्रशिक्षित वेट्सच्या घंटाकृती आकाराशी जुळवून अंतरावर ठेवते, म्हणजे प्रत्येक मूल्य जवळपास सारख्या वेट्सना व्यापते. डबल क्वांटायझेशन स्केल स्थिरांकही पूर्णांकित करते, ज्यामुळे प्रति पॅरामीटर सुमारे ०.३७ बिट, किंवा ६५ अब्ज पॅरामीटरच्या मॉडेलसाठी सुमारे ३ GB वाचते. पेज्ड ऑप्टिमायझर GPU मध्ये जागा कमी पडल्यावर प्रशिक्षणाची स्थिती CPU मेमरीत हलवतात.
यामुळे ६५ अब्ज पॅरामीटरचे फाइन-ट्यूनिंग ७८० GB हून अधिकवरून ४८ GB पेक्षा कमीवर येते, आणि त्यांनी चाचणी केलेल्या कामांवर १६-बिट फाइन-ट्यूनिंगच्या तुलनेत कोणतीही घट होत नाही, असे लेखक नोंदवतात. त्यांनी Guanaco नावाची मॉडेल प्रसिद्ध केली. निबंध Guanaco 65B ४१ GB आणि Guanaco 7B ५ GB सांगतो, जे आधुनिक फोनमध्ये बसते, असे तो म्हणतो.
आज वापरात असलेले फॉरमॅट
हगिंग फेसचे ओव्हरव्ह्यू पान, १२ नोव्हेंबर २०२६ रोजी वाचलेले, आपल्या सुसंगतता सारणीत २२ क्वांटायझेशन पद्धतींची यादी देते. सारणीत ४ बिटांवर AWQ, ४ आणि ८ वर bitsandbytes (QLoRA निबंध ज्या लायब्ररीकडे दुवा देतो ती), ४ वर NVFP4 आणि ८ वर दोन FP8 पद्धती, तसेच llama.cpp साठी GGUF आणि GPT-QModel, ज्याचा स्वतःचा README त्याच्या फॉरमॅटांमध्ये GPTQ ची नोंद करतो, असे टूलकिट आहे.
GGUF हा llama.cpp ने वापरलेला फाइल फॉरमॅट आहे, जो सामान्य संगणकांवर मॉडेल चालवण्याचा प्रोग्राम आहे. त्याचे स्पेसिफिकेशन वेट्स आणि ती लोड करण्यासाठी लागणारे सर्व काही असलेली एक फाइल वर्णन करते. llama.cpp चा README म्हणतो की क्वांटायझेशनमुळे मॉडेल लहान होते आणि वेगवानही होऊ शकते, अचूकतेची किंमत मोजावी लागू शकते जी सहसा पेरप्लेक्सिटी किंवा KL डायव्हर्जन्सने मोजली जाते, आणि इम्पॉर्टन्स मॅट्रिक्सने ती घट कमी करता येते, जी कोणती वेट्स जास्त महत्त्वाची ते ठरवण्यासाठी वापरलेल्या डेटाची फाइल आहे.
FP8 आठ बिट राखते पण ते लहान फ्लोटिंग-पॉइंट संख्येसारखे खर्च करते. पॉलिअस मिकिविशियस आणि १४ सहलेखकांच्या २०२२ च्या निबंधाने E4M3 आणि E5M2 या दोन रचना मांडल्या आणि १७५ अब्ज पॅरामीटरपर्यंतच्या प्रशिक्षण फेऱ्यांत १६-बिटच्या बरोबरीची गुणवत्ता नोंदवली. NVIDIA चा २४ जून २०२५ चा NVFP4 लेख असा ४-बिट फॉरमॅट वर्णन करतो जो १६-बिटच्या तुलनेत मेमरी सुमारे ३.५ पट कमी करतो आणि सात मूल्यमापनांत DeepSeek-R1-0528 वर FP8 च्या तुलनेत १ टक्का किंवा कमी अचूकता घट नोंदवतो. हा आकडा NVIDIA ने स्वतःच्या फॉरमॅटची स्वतः केलेली चाचणी आहे.
प्रत्येक दावा कशावर आधारलेला आहे
वर दिलेला प्रत्येक निकाल एका नावाच्या मॉडेलसाठी आणि एका नावाच्या चाचणीसाठी आहे. GPTQ चे आकडे OPT आणि BLOOM वरील पेरप्लेक्सिटी आहेत, AWQ च्या सारण्या OPT आणि Llama-2 वापरतात, आणि NVFP4 चा आकडा एकाच मॉडेलचा आहे. पेरप्लेक्सिटी मॉडेल मजकूराचा अंदाज किती चांगला बांधते ते मोजते, आणि ते मॉडेल वापरकर्त्याला किती उपयुक्त आहे यासारखेच नाही. llama.cpp चा README स्वतःच म्हणतो की क्वांटाइझ्ड मॉडेल अचूकता गमावू शकते.
QLoRA चा सर्वाधिक उद्धृत आकडा ९९.३ टक्के आहे. तो Guanaco 65B चा ChatGPT च्या तुलनेत Vicuna बेंचमार्कवरील गुण आहे, ८० प्रॉम्प्टची अशी चाचणी जिथे GPT-4 न्यायाधीश म्हणून दोन्ही उत्तरांना गुण देतो, आणि निबंधाच्या सारणीत ९५ टक्के आत्मविश्वास अंतराल अधिक किंवा उणे ४.४ गुण आहे. लेखक म्हणतात की संपूर्ण सारणीत अंतराल खूप रुंद आहेत आणि अनेक मॉडेल एकमेकांवर येतात, आणि ते निष्कर्ष काढतात की चॅटबॉटची कामगिरी मोजण्यासाठी सध्याचे चॅटबॉट बेंचमार्क विश्वसनीय नाहीत. ही समस्या AI बेंचमार्कवरील लेखात मांडली आहे. आकुंचित केली जाणारी मॉडेल कशी तयार झाली, ते मोठे भाषा मॉडेल कसे प्रशिक्षित होते या स्पष्टीकरणात आहे.
भारतीय उपकरणांसाठी लहान मॉडेल
Sarvam AI चा १४ फेब्रुवारी २०२६ चा Sarvam Edge ची घोषणा करणारा लेख म्हणतो की त्याची मॉडेल लोकांकडे आधीच असलेल्या उपकरणांवर चालण्यासाठी रचली आहेत. तो सुमारे १५ कोटी पॅरामीटर आणि उपकरणावर सुमारे ३३४ MB असलेले, १० भारतीय भाषा आणि इंग्रजी व्यापणारे अनुवाद मॉडेल नमूद करतो, आणि कोणता क्वांटायझेशन फॉरमॅट, असल्यास, वापरतो ते सांगत नाही. फोनवरील चित्र फोनवरील लहान मॉडेलच्या आढाव्यात आहे, आणि व्यापक प्रयत्न भारताच्या स्वतःच्या भाषांतील AI वरील लेखात आहे.
स्रोत आणि पुढील वाचन
- Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
- Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
- Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
- Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
- Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
- Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
- Hugging Face: Transformers documentation, Quantization overview
- ggml-org: llama.cpp quantize tool README
- ggml-org: GGUF file format specification
- NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
- Sarvam AI: Announcing Sarvam Edge (14 February 2026)
हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.
आवडलं? पुढचा लेख मिळवा.
एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.