2024 CVPR 模型压缩实战：从原理到轻量化部署的完整指南

1次阅读

没有评论

共计 2650 个字符，预计需要花费 7 分钟才能阅读完成。

近年来，深度学习模型的规模呈现爆炸式增长。以常见的 ResNet50 为例，其参数量达到 25.5M，推理时需要约 4G FLOPs 的计算量。这种规模在服务器端尚可接受，但在移动端和边缘设备上却面临严峻挑战：

内存限制 ：旗舰手机 GPU 通常只有 6 -8GB 内存，嵌入式设备更少
计算延迟 ：ResNet50 在骁龙 865 上单帧推理需 120ms，无法满足实时性要求
能耗问题 ：连续推理 1 小时可使手机电池下降 15%-20%

通过实际测试可以看到，在树莓派 4B 上部署原始 ResNet50 时：

内存占用：98MB
推理延迟：480ms
功耗：5.2W

这些数据清晰地展示了模型压缩的必要性。

方法	精度损失	加速比	内存节省	适用场景
知识蒸馏 (KD)	1-3%	1.5-2x	2-3x	有教师模型可用时
量化 (INT8)	2-5%	3-4x	4x	硬件支持低精度运算
结构化剪枝	3-8%	2-5x	3-5x	通道冗余明显的模型

注：测试基准为 ResNet50 在 ImageNet 上的表现

import torch
import torch.nn as nn
from torchvision.models import resnet34, mobilenet_v2

# 教师模型 (固定参数)
teacher = resnet34(pretrained=True)
for param in teacher.parameters():
    param.requires_grad = False

teacher.eval()

# 学生模型 (可训练参数)
student = mobilenet_v2(width_mult=0.5)  # 压缩版 MobileNet

class AttentionTransferLoss(nn.Module):
    def __init__(self, beta=1e-3):
        super().__init__()
        self.beta = beta  # 正则化系数

    def forward(self, student_feats, teacher_feats):
        """
        student_feats: 学生模型特征图列表 [(B,C1,H1,W1),...]
        teacher_feats: 教师模型对应特征图列表
        """
        loss = 0
        reg_term = 0

        for s_f, t_f in zip(student_feats, teacher_feats):
            # 注意力图计算
            s_att = torch.mean(s_f**2, dim=1)  # (B,H,W)
            t_att = torch.mean(t_f**2, dim=1)

            # L2 距离 + 正则化
            loss += F.mse_loss(s_att, t_att)
            reg_term += torch.norm(s_f, p=2)

        return loss + self.beta * reg_term

# 定义优化器和损失
optimizer = torch.optim.Adam(student.parameters(), lr=1e-4)
criterion_at = AttentionTransferLoss()
criterion_cls = nn.CrossEntropyLoss()

for images, labels in dataloader:
    # 教师模型前向
    with torch.no_grad():
        t_feats = teacher.extract_features(images)

    # 学生模型前向
    s_feats = student.extract_features(images)
    preds = student.classifier(s_feats[-1])

    # 损失计算
    loss_at = criterion_at(s_feats, t_feats)
    loss_cls = criterion_cls(preds, labels)
    total_loss = 0.7*loss_at + 0.3*loss_cls  # 加权融合

    # 反向传播
    optimizer.zero_grad()
    total_loss.backward()
    optimizer.step()

样本数量 ：500-1000 张具有代表性的图片
数据分布 ：应与测试集保持一致，覆盖所有类别
预处理 ：与训练时完全相同的归一化参数
存储格式 ：建议使用 FP16 存储校准集节省空间

import tensorrt as trt

# 创建 logger 和 builder
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)

# 定义网络
network = builder.create_network()
parser = trt.OnnxParser(network, logger)

# 解析 ONNX 模型
with open("model.onnx", "rb") as f:
    parser.parse(f.read())

# 配置 INT8 量化
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.INT8)
config.int8_calibrator = MyCalibrator()  # 自定义校准器

# 构建引擎
engine = builder.build_engine(network, config)