共计 1821 个字符，预计需要花费 5 分钟才能阅读完成。
背景痛点
在移动端或边缘设备上部署 PyTorch 模型时，.pth 格式的模型文件往往会面临两个主要问题：内存占用过大和推理延迟过高。这主要是因为.pth 模型默认使用 FP32（单精度浮点数）格式存储权重和激活值，这对于资源受限的设备来说负担较重。
模型压缩技术对比
- 量化（Quantization）：将模型从 FP32 转换为 INT8 或其他低精度格式，减少内存占用和计算量
- 剪枝（Pruning）：移除模型中不重要的权重或神经元
- 知识蒸馏（Distillation）：用大模型指导小模型训练
量化相比其他技术有以下优势：
- 实现简单，无需重新训练（PTQ）或仅需少量微调（QAT）
- 压缩效果显著，通常可实现 4 倍体积缩减
- 硬件加速支持广泛，现代 AI 加速芯片都支持 INT8 计算
技术方案
PyTorch 提供了三种量化模式，适用于不同场景：
1. 动态量化（Dynamic Quantization）
最适合 LSTM/Transformer 等序列模型，运行时动态量化激活值。
2. 静态量化（Static Quantization）
需要校准数据集，提前确定激活值的量化参数，适合 CNN 等固定输入大小的模型。
3. 量化感知训练（QAT）
在训练时就模拟量化效果，通常能获得更好的精度保持。
处理 BatchNorm 层的技巧
对于包含 BatchNorm 的模型，需要先进行融合（fuse）：
- 将 Conv+BN 合并为单个 Conv
- 将 Conv+BN+ReLU 合并为单个带 ReLU 的 Conv
- 使用
torch.quantization.fuse_modules()API 实现
代码示例
下面是完整的静态量化实现代码（Python 3.8+）：
import torch
import torchvision
# 1. 加载预训练模型
model = torchvision.models.resnet18(pretrained=True)
model.eval()
# 2. 模型配置
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
# 3. 融合 Conv+BN+ReLU
model = torch.quantization.fuse_modules(model, [['conv1', 'bn1', 'relu']] +
[[f'layer{i}.{j}.conv{k}', f'layer{i}.{j}.bn{k}', f'layer{i}.{j}.relu{k}']
for i in range(1,5) for j in range(2) for k in range(1,3)])
# 4. 准备量化
model_prepared = torch.quantization.prepare(model)
# 5. 校准（使用约 1000 个样本）for data in calibration_dataloader:
model_prepared(data)
# 6. 转换量化模型
model_int8 = torch.quantization.convert(model_prepared)关键参数说明
num_bits：通常权重和激活都使用 8bit，极端情况下权重可用 4bit- 对称量化：适合权重分布均匀的情况，计算更高效
- 非对称量化：适合激活值有偏分布的情况，精度更高
避坑指南
精度下降过多怎么办？
- 检查校准数据集是否具有代表性
- 尝试 QAT 代替 PTQ
- 调整量化粒度（逐层 / 逐通道）
- 排除异常值影响（使用 percentile 代替 min/max）
ONNX 导出问题
常见错误及解决方案：
- 不支持的操作：替换为量化友好算子
- 张量形状不匹配：检查动态轴设置
- 版本不兼容：确保 PyTorch 和 ONNX 版本匹配
硬件兼容性
部署前务必检查：
- 目标设备是否支持 INT8 指令集（如 ARM v8.2+）
- 推理引擎版本是否匹配
- 驱动和固件是否最新
验证指标
在 ImageNet 验证集上的测试结果（ResNet18）：
| 指标 | FP32 模型 | INT8 模型 |
|---|---|---|
| 精度（Top-1） | 69.8% | 69.1% |
| 模型大小 | 44.6MB | 11.3MB |
| 推理延迟 | 45ms | 12ms |
使用 NSight 工具分析可见：
- INT8 模型的计算密度提升 3.2 倍
- 内存带宽需求降低 3.8 倍
- 功耗下降约 40%
总结与思考
通过合理应用量化技术，我们成功将.pth 模型压缩了 4 倍，推理速度提升 3 倍以上，同时精度损失控制在 1% 以内。这为移动端 AI 应用提供了非常好的基础。
最后留一个开放问题供大家探讨： 在混合精度量化中，如何平衡不同层的量化粒度（如部分层保持 FP16）与硬件加速效率的关系？
正文完
