C&W损失函数在对抗样本生成中的实战应用与优化策略

1次阅读

没有评论

共计 1606 个字符，预计需要花费 5 分钟才能阅读完成。

在对抗样本生成任务中，传统的交叉熵损失函数存在明显的局限性。交叉熵损失在非定向攻击场景下，当模型对原始样本的预测置信度较高时，容易出现梯度消失现象。具体表现为：

梯度幅值随置信度提升而指数级衰减
难以生成跨决策边界的对抗样本
对防御性蒸馏等防护措施敏感

Carlini & Wagner 提出的损失函数核心公式为：

$$\mathcal{L}(x) = \max(Z(x)_t – \max{Z(x)_i:i\ne t}, -\kappa)$$

其中：
– $Z(x)$ 表示模型在输入 $x$ 下的 logits 输出
– $t$ 为目标类别（定向攻击）或原始类别（非定向攻击）
– $\kappa$ 控制对抗样本的置信度阈值

不同范数约束下的优化效果差异显著：

L2 范数：
生成扰动更平滑
适合人类视觉不易察觉的攻击
计算复杂度较高
L∞范数：
生成扰动更稀疏
易产生棋盘格伪影
优化过程更稳定

graph TD
    A[输入样本] --> B[计算原始 logits]
    B --> C{定向攻击?}
    C -->| 是 | D[固定目标类别 t]
    C -->| 否 | E[使用原始预测类别]
    D --> F[计算 C &W 损失]
    E --> F
    F --> G[反向传播]
    G --> H[范数约束更新]
    H --> I{达到迭代次数?}
    I -->| 否 | F
    I -->| 是 | J[输出对抗样本]

import torch

class CWLoss(torch.nn.Module):
    def __init__(self, kappa=0.0):
        super().__init__()
        self.kappa = kappa

    def forward(self, logits, target):
        # logits: [B, C], target: [B]
        batch_size = logits.size(0)
        one_hot = torch.zeros_like(logits).scatter_(1, target.unsqueeze(1), 1.0)

        # 计算最大非目标类 logit
        other = torch.max((1 - one_hot) * logits, dim=1)[0]
        # 目标类 logit
        target_logit = torch.masked_select(logits, one_hot.bool())

        # C&W 损失计算
        loss = torch.clamp(other - target_logit + self.kappa, min=0.0)
        return loss.mean()