插图:tuput
中文
2022年和2023年的四篇论文降低了大语言模型所需的内存,从8位的LLM.int8到4位的GPTQ、AWQ和QLoRA。下面按作者自己公布的数字,说明每篇论文测了什么,以及现在通行的是哪些格式。
2022年8月,蒂姆·德特默斯(Tim Dettmers)、迈克·刘易斯(Mike Lewis)、尤内斯·贝尔卡达(Younes Belkada)和卢克·泽特尔莫耶(Luke Zettlemoyer)报告了一种方法,把语言模型的权重从16位改为8位存储,运行所需的内存因此减半,在他们的测试中直到1750亿参数都没有精度损失。2022年10月,苏黎世联邦理工学院和奥地利科学技术研究所的一个团队发表了GPTQ,把权重压到3位或4位,并在一块80 GB的显卡上运行了1750亿参数的OPT模型。2023年5月,QLoRA论文在一块48 GB的显卡上微调了一个650亿参数的模型,论文作者说,按普通的16位形式,这项工作需要780 GB以上。
这一切都叫量化:用更少的位数存储模型的数字。Hugging Face的文档把它描述为:以较低的精度保存权重,在尽量保持精度的同时,降低加载和使用模型所需的内存。本文依次讲这几篇论文,说明每篇测了什么,并标出哪些说法只来自作者本人或销售硬件的公司。
权重是一个数,位数决定它写得多精细
语言模型的参数,也叫权重,是它在训练中学到的数字。GPT-3有1750亿个。每个数占两个字节(16位),合计350 GB,这是AWQ论文给出的数字;GPTQ论文算出的是326 GB,因为它用的是二进制的GB。GPTQ的作者说,这超过了即使最高端的单块显卡的容量,AWQ论文则指出,英伟达较新的B200有192 GB。
16位的数有65,536种不同的取值,8位的有256种,4位的有16种。这只是简单的算术,整个取舍就在这里。英伟达NVFP4的文章列出了一个4位浮点数能表示的大小:0、0.5、1、1.5、2、3、4和6,外加正负号。矩阵中的每个权重都要舍入到这寥寥几个点之一,而且要先对矩阵做缩放,让它的最大值落在范围的顶端。
下面是一个虚构的例子,不出自任何论文。假设一行权重的值接近0.02和0.4,但还有一个是12,那么按8位缩放,整个范围内的步长约为0.09,0.02会被舍入为零。一个很大的值,会让其余所有值的刻度变粗。下面的几种方法,是应对这个问题的不同办法。
实际的格式还带有缩放常数,所以“4位”其实比四位略多。llama.cpp的README列出了Llama 3.1 8B的情况:16位时是每个权重16.0005位、14.96 GiB;它的8位格式Q8_0是8.5008位、7.95 GiB;它的示例所用的4位格式Q4_K_M是4.8944位、4.58 GiB。英伟达的NVFP4每16个值存一个8位的缩放值,折合每个值4.5位。
LLM.int8():让8位失效的那0.1%的值
LLM.int8()论文在2022年NeurIPS会议上发表,从一次失败讲起。此前的8位方法只在3.5亿参数以下的模型上研究过,作者发现,随着模型变大,简单的8位舍入会失效。从大约67亿参数起,少数几个隐藏维度中出现的值,比其余的大至20倍。他们报告,在67亿参数时,每个序列约有15万个这样的离群值,只集中在6个特征维度上。把这些维度设为零,会使困惑度(一个越低越好的分数)恶化600%至1,000%,而它们只占特征的约0.1%。
解决办法是拆分。数值大小达到6或以上的维度用16位相乘,其余约99.9%用8位,每个内积各有单独的缩放。在论文的C4测试中,一个130亿参数的模型,32位的困惑度是12.45,简单的8位舍入是19.08,用LLM.int8()是12.45。作者报告,直到1750亿参数的OPT模型都没有精度下降,并说这使OPT-175B和BLOOM可以在配消费级GPU的单台服务器上使用。他们的软件已集成进Hugging Face Transformers。
他们也说明了局限。在67亿参数以下的模型上,这种8位方法可能比16位更慢,不过这些模型本来就能装进大多数GPU;在1750亿参数模型的大型矩阵乘法上,它的速度约为16位的两倍。
GPTQ:训练后用约四个GPU小时完成压缩
LLM.int8()保持在8位。埃利亚斯·弗兰塔尔(Elias Frantar)、萨利赫·阿什布斯(Saleh Ashkboos)、托尔斯滕·赫夫勒(Torsten Hoefler)和丹·阿利斯塔(Dan Alistarh)的GPTQ论文则瞄准更低的位数,而且不需要重新训练。它是一次性方法,意思是用近似的二阶信息,一遍就把训练好的模型舍入完毕,作者报告在一块A100上用约四个GPU小时量化了一个1750亿参数的模型。
它的主要结果表是OPT-175B,用WikiText2困惑度衡量。16位模型得分8.34。GPTQ在4位时是8.37,而简单的就近舍入是10.54。在3位时,就近舍入崩溃到约7,300,GPTQ则是8.68。作者称精度损失可以忽略,并指出较大的模型总体上似乎更容易量化,OPT-66B是个例外。
内存的算术在论文里。3位时OPT-175B约占63 GB,再加上2,048个词元时约9 GB的历史键值缓存,所以能装进一块80 GB的显卡。作者说,16位运行需要五块这样的卡,LLM.int8()需要三块。他们还报告,在A100上生成速度是16位的3.25倍,在更便宜的A6000上是4.5倍,并说这个提升来自少加载内存,因为当时的主流硬件还不能直接做16位乘4位的运算。
AWQ:保护1%的权重,依据激活值来挑选
AWQ论文的第一作者是Ji Lin,通讯作者是麻省理工学院的韩松(Song Han),出发点是一个观察:并非所有权重都同样重要。只把约1%的权重保留为16位,就能大大减轻把其余部分舍入到低精度造成的损害。
关键在于选哪1%。它的表1用OPT-6.7B,3位、每组128个权重,以WikiText困惑度打分,16位模型得10.86,就近舍入得23.54。把1%的权重保留为16位,并按流入这些权重的激活值有多大来挑选,得11.39。按权重自身的大小挑选同样的比例,得22.37,随机挑选得24.23。显著的权重是从流经模型的数据中找出来的,而不是从权重本身。
16位和4位混合存储对硬件不友好,所以AWQ改为在舍入之前把显著的通道放大,不用拆分也能得到相近的分数。作者把它与推理系统TinyChat配合,报告在台式机、笔记本和移动GPU上,相比Hugging Face的16位代码平均提速3.2至3.3倍。他们报告,Llama-2-70B可在一块64 GB的Jetson Orin上运行,一个130亿参数的模型在8 GB的笔记本RTX 4070上每秒生成30个词元。这些是作者自己的测量。论文2026年的修订版列有MLSys 2024最佳论文奖。
LoRA和QLoRA:微调一个冻结的4位模型
微调是用新数据重新训练模型,所需内存比运行它多得多。微软的Edward Hu等人在2021年6月提出的LoRA,冻结了预训练的权重,转而训练加入的小矩阵。对GPT-3 175B,作者报告可训练参数减少到万分之一,GPU内存比用Adam优化器微调少到三分之一,在他们测试的模型上质量相当或更好,模型运行时也没有增加延迟。
QLoRA把这两个想法结合起来。它让预训练模型以4位冻结,并把梯度穿过它传回LoRA适配器。论文加入了三个部分。NormalFloat 4,即NF4,让16个可用的值按训练后权重的钟形分布间隔排列,因此每个值覆盖的权重数大致相同。双重量化把缩放常数也做舍入,每个参数节省约0.37位,对650亿参数的模型约合3 GB。分页优化器在GPU内存不足时,把训练状态转移到CPU内存。
作者报告,这使650亿参数的微调从780 GB以上降到48 GB以下,在他们测试的任务上,与16位微调相比没有损失。他们发布了名为Guanaco的模型。论文给出Guanaco 65B为41 GB,Guanaco 7B为5 GB,并说后者能装进现代手机。
如今在用的格式
Hugging Face的概述页面(2026年11月12日查阅)在兼容性表中列出了22种量化方法。表中有4位的AWQ,4位和8位的bitsandbytes(QLoRA论文链接的那个库),4位的NVFP4和两种8位的FP8方法,还有面向llama.cpp的GGUF,以及GPT-QModel,这个工具包自己的README把GPTQ列为它支持的格式之一。
GGUF是llama.cpp使用的文件格式,llama.cpp是在普通电脑上运行模型的程序。它的规范描述了一个单一文件,里面装有权重和加载所需的一切。llama.cpp的README说,量化会缩小模型并可能加快速度,可能损失精度,通常以困惑度或KL散度衡量,而这种损失可以用重要性矩阵来减轻,重要性矩阵是一份用来判断哪些权重更重要的数据文件。
FP8仍然是八位,但把它们用作一个小的浮点数。保利乌斯·米奇克维丘斯(Paulius Micikevicius)和14位合作者2022年的论文提出了E4M3和E5M2两种布局,并报告在最高1750亿参数的训练中与16位的质量相当。英伟达2025年6月24日关于NVFP4的文章,介绍了一种4位格式,内存比16位减少约3.5倍,并报告在DeepSeek-R1-0528上,七项评测里与FP8相比精度损失为1%或更低。这个数字是英伟达对自家格式做的测试。
每个说法靠什么支撑
上面每个结果都针对一个指定的模型和一项指定的测试。GPTQ的数字是OPT和BLOOM上的困惑度,AWQ的表用的是OPT和Llama-2,NVFP4的数字只涉及一个模型。困惑度衡量的是模型预测文本的好坏,与模型对用户有多大用处不是一回事。llama.cpp的README本身就说,量化后的模型可能损失精度。
QLoRA被引用最多的数字是99.3%。这是Guanaco 65B在Vicuna基准上相对于ChatGPT的得分,该基准是一项80个提示的测试,由GPT-4担任评判,给两个回答打分,论文表中的95%置信区间为正负4.4分。作者说,整张表中的区间非常宽,许多模型彼此重叠,并得出结论:目前的聊天机器人基准不足以信赖,无法用来衡量聊天机器人的表现。这个问题在关于AI基准的文章中有讲。被压缩的这些模型是怎样造出来的,见关于大语言模型训练的说明文章。
面向印度设备的小模型
Sarvam AI在2026年2月14日发布Sarvam Edge的文章说,它的模型是为人们已有的设备设计的。文章列出一个约1.5亿参数的翻译模型,在设备上约占334 MB,涵盖10种印度语言和英语,没有说明它用的是哪种量化格式,是否用了量化。手机端的情况见关于手机上的小模型的文章,更大范围的推进见关于印度自有语言AI的文章。
资料来源与延伸阅读
- Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
- Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
- Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
- Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
- Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
- Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
- Hugging Face: Transformers documentation, Quantization overview
- ggml-org: llama.cpp quantize tool README
- ggml-org: GGUF file format specification
- NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
- Sarvam AI: Announcing Sarvam Edge (14 February 2026)
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。