大模型推理加速实战：AWQ量化技术入门指南

1次阅读

共计 1823 个字符，预计需要花费 5 分钟才能阅读完成。

以 175B 参数的 GPT- 3 为例，FP16 精度下仅模型权重就需占用 175*10^9*2 bytes ≈ 350GB 显存。实际推理时还需考虑激活值（Activations）和 KV Cache 的存储开销，这使得单卡推理百亿级模型成为不可能的任务。

PTQ（Post-Training Quantization）：训练后直接对权重进行均匀量化（如 FP16→INT8），简单但精度损失显著
QAT（Quantization-Aware Training）：在训练中模拟量化误差，需要重新训练模型

AWQ 提出 激活感知权重量化（Activation-aware Weight Quantization），通过分析发现：
– 仅 1% 的权重通道对输出误差影响显著
– 对关键通道保留更高精度（如 FP16），其余通道量化到 INT4
– 数学表达：$W_{quant} = \alpha \cdot round(W/\alpha \cdot s)$，其中 $s$ 为动态缩放因子

def awq_quantize(weight, n_bits=4, group_size=128):
    """
    weight: (out_features, in_features)
    n_bits: 目标量化位数
    group_size: 分组大小（通道维度）"""
    # 按组计算最大绝对值作为缩放因子
    grouped = weight.view(-1, group_size)
    scale = grouped.abs().max(dim=-1, keepdim=True)[0]

    # 计算量化步长
    q_max = 2 ** (n_bits - 1) - 1
    scaled_weights = grouped / scale * q_max

    # 四舍五入到整数
    quantized = torch.clamp(scaled_weights.round(), -q_max, q_max)
    return quantized.short(), scale.float()  # INT16 存储 +FP16 缩放因子

class QuantLinear(nn.Module):
    def __init__(self, quant_weights, scales):
        super().__init__()
        self.register_buffer('quant_weights', quant_weights)
        self.register_buffer('scales', scales)

    def forward(self, x):
        # 动态反量化
        dequant_weights = self.quant_weights.float() * self.scales / (2**3 - 1)
        return F.linear(x, dequant_weights)

def evaluate_ppl(model, test_loader):
    model.eval()
    total_loss = 0
    with torch.no_grad():
        for batch in test_loader:
            outputs = model(batch['input_ids'])
            loss = F.cross_entropy(outputs, batch['labels'])
            total_loss += loss.exp().item()
    return total_loss / len(test_loader)