深度学习入门：从零理解C&W损失函数的原理与实现

1次阅读

没有评论

共计 1808 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习领域，对抗样本是指通过对原始输入添加微小扰动，导致模型产生错误输出的样本。这种扰动往往人眼难以察觉，但却能显著影响模型的预测结果。对抗样本的研究不仅有助于理解模型的脆弱性，还能推动更鲁棒的模型设计。

传统的对抗样本生成方法（如 FGSM）通常使用交叉熵损失函数，但 Carlini & Wagner 在 2017 年提出的 C &W 攻击方法显示，专门设计的损失函数能更有效地生成对抗样本。C&W 损失函数的优势在于：

能绕过防御性蒸馏等常见防御措施
生成的对抗样本扰动更小
攻击成功率更高

C&W 损失函数的核心思想是将对抗样本生成问题转化为优化问题。完整的损失函数由两部分组成：

分类损失项：确保对抗样本被错误分类
距离度量项：限制扰动大小

数学表达式如下：

minimize ‖δ‖_p + c·f(x+δ)
subject to x+δ ∈ [0,1]^n

其中：

δ 是添加的扰动
p 通常取 2 或∞，表示 L2 或 L∞范数
c 是平衡两个损失项的权重参数
f(x+δ)是分类损失函数

分类损失函数 f(·)的设计是关键，原论文提出：

f(x') = max(max{Z(x')_i : i ≠ t} - Z(x')_t, -κ)

这里：

Z(x’)是模型在 x ’ 处的 logits 输出
t 是目标错误类别
κ 控制置信度，通常设为 0

以下是 PyTorch 实现的完整代码，包含详细注释：

import torch
import torch.nn as nn

def cw_loss(logits, target, confidence=0):
    """
    C&W 损失函数实现
    :param logits: 模型输出 logits [batch_size, num_classes]
    :param target: 目标错误类别 [batch_size]
    :param confidence: 置信度参数 κ
    :return: C&W 损失值
    """
    # 获取目标类别的 logit
    target_logit = logits.gather(1, target.unsqueeze(1))

    # 获取其他类别的最大 logit
    max_other_logit = logits.clone().scatter_(1, target.unsqueeze(1), -float('inf')).max(1)[0]

    # 计算 f(x)值
    f = torch.clamp(max_other_logit - target_logit + confidence, min=0)

    return f.mean()

# 示例用法
model = ...  # 你的模型
inputs = ... # 输入数据
targets = ... # 目标错误类别

# 启用梯度计算
inputs.requires_grad = True

# 前向传播
logits = model(inputs)

# 计算 C &W 损失
loss = cw_loss(logits, targets)

# 反向传播计算梯度
loss.backward()

# 根据梯度生成对抗扰动
perturbation = 0.1 * inputs.grad.sign()
adv_inputs = inputs + perturbation

在 MNIST 和 CIFAR-10 数据集上的实验表明：