BP神经网络与生成对抗网络(GAN)核心区别解析：从数学原理到应用场景选择

1次阅读

没有评论

共计 1404 个字符，预计需要花费 4 分钟才能阅读完成。

刚入门机器学习时，我曾错误地用 BP 神经网络尝试生成手写数字图像——结果输出全是模糊的灰色色块。后来才知道，这种需求应该用 GAN。另一个常见错误是在数据增强时试图用 BP 网络生成新样本，导致模型过拟合。这些案例说明：

BP 网络擅长从数据中学习映射关系（如分类 / 回归）
GAN 专为生成与原始数据分布相似的新样本设计

单向传播：输入层→隐藏层→输出层的严格前馈结构
典型配置：3 层网络（1 隐藏层）足以逼近任何连续函数
数学表达：
$$ y = f(W_n f(W_{n-1}…f(W_1x + b_1)…) + b_n) $$

生成器(Generator)：接收随机噪声 z，输出伪造样本 $G(z)$
判别器(Discriminator)：判断输入来自真实数据还是生成器
对抗过程：
$$ \min_G \max_D V(D,G) = E_{x\sim p_{data}}[\log D(x)] + E_{z\sim p_z}[\log(1-D(G(z)))] $$

前向传播计算输出
计算损失（如交叉熵）：
$$ L = -\sum y_{true} \log(y_{pred}) $$
误差反向传播更新权重
重复直到收敛

交替训练：先固定 G 训练 D，再固定 D 训练 G

关键代码：

# 训练判别器时冻结生成器
d_loss = criterion(d_out_real, real_labels) + \
         criterion(d_out_fake.detach(), fake_labels)  # 注意 detach()切断梯度

模式坍塌应对：添加梯度惩罚(WGAN-GP)

class BPNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # 展平图像
        x = F.relu(self.fc1(x))
        return F.softmax(self.fc2(x), dim=1)

# 生成器：将噪声转成 28x28 图像
class Generator(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Sequential(nn.Linear(100, 256),
            nn.LeakyReLU(0.2),
            nn.Linear(256, 784),
            nn.Tanh()  # 输出归一化到[-1,1]
        )