工业物联网中的自适应知识迁移：攻击检测模型轻量化实战

1次阅读

共计 2073 个字符，预计需要花费 6 分钟才能阅读完成。

工业物联网 (IIoT) 设备通常部署在资源受限的环境下，比如边缘网关或嵌入式终端。这些设备的内存、计算能力和电池续航都十分有限。然而，随着工业网络面临的攻击日益复杂，传统的基于规则的检测方法已经无法满足需求。这导致了一个核心矛盾：复杂的攻击检测模型需要大量计算资源，而 IIoT 设备却无法承载。

资源限制：典型的 IIoT 设备可能只有几百 MB 内存和低功耗 CPU，而现代深度学习模型动辄需要数 GB 内存
实时性要求：工业控制系统的响应延迟必须控制在毫秒级，直接部署大型模型会导致严重延迟
对抗样本威胁：轻量化后的模型更容易受到对抗样本攻击，这在实际工业场景中可能造成严重后果

模型轻量化有多种技术路线，我们对比了几种主流方法：

模型剪枝：通过移除神经网络中的冗余连接来减小模型大小
优点：可以显著减小模型体积
缺点：需要复杂的重新训练过程，且容易破坏模型结构
量化：将浮点参数转换为低精度表示(如 INT8)
优点：实现简单，硬件支持好
缺点：精度损失较大，对异常检测类任务影响显著
知识蒸馏：让小型学生模型学习大型教师模型的行为
优点：可以保留更多语义信息，特别适合分类 / 检测任务
缺点：训练过程相对复杂

考虑到 IIoT 攻击检测对精度和鲁棒性的双重需求，我们最终选择了基于注意力机制的知识蒸馏方案。

我们的方案包含三个关键创新点：

传统知识蒸馏只利用最终输出层的软标签 (soft label)，而我们额外提取了中间层的注意力图(attention map) 作为监督信号。这让学生在模型学习过程中不仅能学到 ” 是什么 ”，还能学到 ” 关注哪里 ”。

class AttentionDistillLoss(nn.Module):
    def __init__(self, temp=3):
        super().__init__()
        self.temp = temp

    def forward(self, student_atts, teacher_atts):
        """
        student_atts: list of (B, C, H, W) attention maps from student
        teacher_atts: 同上 from teacher
        """
        loss = 0
        for s_att, t_att in zip(student_atts, teacher_atts):
            # 使用 MSE 损失对齐注意力分布
            s_att = torch.flatten(s_att, 1)
            t_att = torch.flatten(t_att, 1)
            loss += F.mse_loss(s_att, t_att)
        return loss

知识蒸馏中的温度系数 τ 控制着标签软化程度。我们发现固定的 τ 值无法适应训练全过程：

训练初期：需要较大的 τ(如 τ =5)来平滑分布
训练后期：需要较小的 τ(如 τ =1)来锐化目标

实现策略：

def adjust_temperature(epoch, max_epoch):
    """余弦退火调整温度系数"""
    return 5 * 0.5 * (1 + math.cos(epoch/max_epoch * math.pi))

为了防止轻量化后的学生模型容易被对抗样本欺骗，我们在训练数据中混入了 FGSM 生成的对抗样本：

def fgsm_attack(model, X, y, epsilon=0.03):
    """生成对抗样本"""
    X.requires_grad = True
    output = model(X)
    loss = F.cross_entropy(output, y)
    model.zero_grad()
    loss.backward()

    # 生成对抗扰动
    perturb = epsilon * X.grad.sign()
    return torch.clamp(X + perturb, 0, 1)

我们在工业协议 Modbus/TCP 攻击数据集上进行了验证：