LLM 量化技术深度解析：从 GPTQ 到 AWQ 的权重量化原理与实践指南

LLM 量化技术深度解析：从 GPTQ 到 AWQ 的权重量化原理与实践指南

摘要

大语言模型（LLM）的量化技术是解决部署成本和推理效率问题的关键手段。本文深入解析主流权重量化方法的核心原理，包括 GPTQ 的 OBS 近似、AWQ 的激活感知策略、GGUF 的统一格式设计。通过数学推导、算法流程分析和性能对比，揭示不同量化技术的本质差异与适用场景，帮助读者理解如何为大模型选择最优的量化方案。

引言

背景

随着大语言模型规模的爆炸式增长，从 7B 到 70B 甚至更大，模型部署面临严峻挑战：

量化技术通过降低权重精度（如 FP16 → INT4），可将内存需求压缩 4 倍，使大模型在消费级硬件上运行成为可能。

问题陈述

量化并非无损压缩，不同方法在精度损失、推理速度、部署便捷性上各有取舍：

• GPTQ：追求极致压缩率，适合 CUDA 加速
• AWQ：保护关键权重，适合创意生成任务
• GGUF：通用性强，CPU/GPU 混合推理首选

如何选择？需要深入理解其底层原理。

文章结构

本文将从以下维度展开：

1. 量化的数学基础与核心概念
2. GPTQ 的 OBS 近似算法详解
3. AWQ 的激活感知量化原理
4. GGUF 的格式设计与量化策略
5. 性能对比与实践选型指南

量化的数学基础

线性量化原理

线性量化是最常用的量化方法，将浮点权重映射到整数范围：

KaTeX parse error: Unexpected character: ' ' at position 24: …ext{round}left( ̲rac{W - z}{s} i…

其中：

• W WW：原始浮点权重（FP16/FP32）
• W q W_qWq​：量化后的整数权重（INT4/INT8）
• s ss：缩放因子（scale）
• z zz：零点偏移（zero point）

反量化恢复浮点值：

W d e q = W q c d o t s + z W_{deq} = W_q cdot s + zWdeq​=Wq​cdots+z

量化误差分析

量化引入的误差可分解为：

e x t E r r o r = s u m i , j ( W i , j − W d e q , i , j ) 2 ext{Error} = sum_{i,j} (W_{i,j} - W_{deq,i,j})^2extError=sumi,j​(Wi,j​−Wdeq,i,j​)2

对于 INT4 量化，每个权重仅有 16 个离散值可选，误差不可避免。关键在于如何最小化对模型输出的影响。

对称与非对称量化

INT4 对称量化范围：