CISP-人工智能安全实战：对抗样本防御与模型加固方案

1次阅读

共计 2523 个字符，预计需要花费 7 分钟才能阅读完成。

对抗样本攻击通过精心构造的微小扰动欺骗 AI 模型，主要攻击路径可分为两类：

计算机视觉领域
梯度掩码攻击：利用模型梯度生成扰动（如 FGSM/PGD）
物理世界攻击：对抗贴纸干扰自动驾驶车辆识别
后门注入：通过污染训练数据建立隐藏触发机制
自然语言处理领域
同义词替换：保持语义不变改变分类结果
隐形字符注入：利用 Unicode 控制字符绕过检测
文本风格迁移：模仿目标作者写作风格

flowchart TD
    A[原始输入] --> B[添加扰动]
    B --> C{模型预测}
    C -->| 正确分类 | D[正常输出]
    C -->| 错误分类 | E[对抗成功]

防御方法	优点	缺点	适用场景
对抗训练	鲁棒性强	训练成本高	高安全要求场景
随机化防御	实时性好	防御效果有限	实时系统
特征压缩	计算开销低	可能损失有效信息	边缘设备
输入净化	兼容现有模型	对高级攻击无效	快速部署场景

import tensorflow as tf
from cleverhans.tf2.attacks.fast_gradient_method import fast_gradient_method

# 加载预训练模型
model = tf.keras.models.load_model('victim_model.h5')

# FGSM 检测函数
def detect_adversarial(input_image, epsilon=0.05):
    """
    :param input_image: 输入图像张量 (H,W,C)
    :param epsilon: 扰动系数 (建议 0.01-0.1)
    :return: (原始预测, 对抗预测, 是否检测到攻击)
    """
    original_pred = model.predict(input_image[np.newaxis,...])

    # 生成对抗样本
    adv_image = fast_gradient_method(
        model_fn=model,
        x=input_image,
        eps=epsilon,
        norm=np.inf,
        targeted=False
    )

    adv_pred = model.predict(adv_image[np.newaxis,...])

    # 检测逻辑：预测类别变化或置信度下降超过阈值
    is_attack = (np.argmax(original_pred) != np.argmax(adv_pred) 
        or np.max(original_pred) - np.max(adv_pred) > 0.3
    )

    return original_pred, adv_pred, is_attack

import torch
import torch.nn as nn
from torch.optim.lr_scheduler import ReduceLROnPlateau

# 对抗训练循环
def adversarial_train(model, train_loader, epochs=10):
    """
    :param model: 待训练的 PyTorch 模型
    :param train_loader: 数据加载器
    :param epochs: 训练轮次
    """
    optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
    scheduler = ReduceLROnPlateau(optimizer, 'min', patience=2)
    criterion = nn.CrossEntropyLoss()
    best_loss = float('inf')

    for epoch in range(epochs):
        model.train()
        epoch_loss = 0

        for x, y in train_loader:
            # 生成对抗样本
            x.requires_grad = True
            loss = criterion(model(x), y)
            loss.backward()

            # 应用 FGSM 扰动
            perturb = 0.05 * torch.sign(x.grad)
            x_adv = torch.clamp(x + perturb, 0, 1)

            # 联合训练
            optimizer.zero_grad()
            loss = 0.5 * (criterion(model(x), y) + criterion(model(x_adv.detach()), y))
            loss.backward()
            optimizer.step()

            epoch_loss += loss.item()

        # 早停与学习率调整
        scheduler.step(epoch_loss)
        if epoch_loss < best_loss:
            best_loss = epoch_loss
            torch.save(model.state_dict(), 'best_model.pt')
        elif optimizer.param_groups[0]['lr'] < 1e-5:
            print("Early stopping triggered")
            break