8位量化在深度学习模型中的实践：如何平衡精度与计算效率

1次阅读

共计 2310 个字符，预计需要花费 6 分钟才能阅读完成。

在边缘设备上部署深度学习模型时，浮点模型面临两大主要挑战：内存占用大和计算效率低。32 位浮点模型通常需要几百 MB 甚至上 GB 的存储空间，这对资源受限的边缘设备来说是一个巨大的负担。同时，浮点运算在边缘设备上的执行效率也远低于整数运算，导致推理速度慢、功耗高。

量化技术虽然能有效缓解这些问题，但开发者常常会遇到量化后模型精度骤降的情况。特别是在 8 位量化时，精度损失可能高达 5 -10%，这使得很多开发者对量化技术望而却步。

8 位量化和 16 位量化各有优缺点：

8 位量化：
计算效率高，推理速度可提升 3 - 4 倍
模型大小减少 75%（相比 32 位浮点）
但精度损失风险较大，通常在 1 -5% 之间
16 位量化：
计算效率提升约 2 倍
模型大小减少 50%
精度损失较小，通常在 0.5-2% 之间

对称量化和非对称量化的选择也很重要：

对称量化：
适合权重分布对称的情况（如经过批归一化的权重）
实现简单，计算效率高
非对称量化：
可以更好地处理非对称分布的激活值
需要额外的零点和偏移量计算

import torch
import torch.quantization

# 1. 准备模型
model_fp32 = ... # 原始浮点模型
model_fp32.eval()

# 2. 配置量化
model_fp32.qconfig = torch.quantization.get_default_qconfig('fbgemm')

# 3. 插入观察者
model_fp32_prepared = torch.quantization.prepare(model_fp32)

# 4. 校准（使用验证集）with torch.no_grad():
    for data, _ in calibration_loader:
        model_fp32_prepared(data)

# 5. 量化转换
model_int8 = torch.quantization.convert(model_fp32_prepared)

# 使用直方图观察者进行更精确的校准
observer = torch.quantization.HistogramObserver.with_args(
    dtype=torch.quint8,  # 激活值量化类型
    qscheme=torch.per_tensor_symmetric,  # 量化方案
    reduce_range=True,  # 对于 CPU 后端建议开启
    quant_min=0,  # 最小值
    quant_max=255  # 最大值
)

model.qconfig = torch.quantization.QConfig(
    activation=observer,
    weight=torch.quantization.default_weight_observer
)

# 在训练前准备 QAT 模型
model.train()
model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')
model_prepared = torch.quantization.prepare_qat(model)

# 正常训练循环
for epoch in range(num_epochs):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model_prepared(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

# 转换为量化模型
model_quantized = torch.quantization.convert(model_prepared.eval())

对于 LayerNorm 等特殊算子，PyTorch 可能没有现成的量化实现。解决方案：

将这些算子放在量化区域之外
自定义量化实现

class CustomLayerNorm(nn.Module):
    def forward(self, x):
        # 保持浮点计算
        return F.layer_norm(x.float(), self.normalized_shape).to(x.dtype)

量化后出现 NAN 值的可能原因：