从零开始理解bp神经网络与卷积神经网络(cnn)：核心原理与实战对比

1次阅读

共计 2525 个字符，预计需要花费 7 分钟才能阅读完成。

初次接触神经网络时，许多学习者会对 BP（反向传播）神经网络和卷积神经网络（CNN）产生以下困惑：

概念混淆：不清楚 BP 和 CNN 的本质区别，误认为它们是并列关系
场景模糊：难以判断何时该用 BP 网络，何时该用 CNN
参数恐惧：面对网络层数、神经元数量、卷积核等参数无从下手
数学障碍：被反向传播的链式求导、卷积运算等数学原理劝退
实现困难：代码实践中常出现维度不匹配、梯度消失等问题

BP 神经网络：
全连接结构，相邻层所有神经元两两相连
典型的三层结构：输入层、隐藏层、输出层
参数量大，容易过拟合
CNN：
局部连接 + 权值共享（卷积核）
包含卷积层、池化层、全连接层
通过卷积操作自动提取空间特征

特性	BP 神经网络	CNN
连接方式	全连接	局部连接
参数共享	无	卷积核权值共享
特征提取	手动设计特征	自动提取层次化特征
输入要求	一维向量	保留空间结构的张量

BP 神经网络 更适合：
结构化数据（如表格数据）
输入维度固定的场景
小规模数据集
CNN 更擅长处理：
图像、视频等网格化数据
具有局部相关性的数据
需要平移不变性的任务

import numpy as np

class BPNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)  # 激活函数
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        exp_scores = np.exp(self.z2)
        self.probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)
        return self.probs

    def backward(self, X, y, learning_rate):
        # 反向传播
        delta3 = self.probs
        delta3[range(len(X)), y] -= 1
        dW2 = np.dot(self.a1.T, delta3)
        db2 = np.sum(delta3, axis=0, keepdims=True)
        delta2 = np.dot(delta3, self.W2.T) * (1 - np.power(self.a1, 2))
        dW1 = np.dot(X.T, delta2)
        db1 = np.sum(delta2, axis=0)
        # 参数更新
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2

from tensorflow.keras import layers, models

def build_cnn(input_shape=(28, 28, 1), num_classes=10):
    model = models.Sequential([
        # 卷积层 1 + 池化
        layers.Conv2D(32, (3, 3), activation='relu', input_shape=input_shape),
        layers.MaxPooling2D((2, 2)),
        # 卷积层 2 + 池化
        layers.Conv2D(64, (3, 3), activation='relu'),
        layers.MaxPooling2D((2, 2)),
        # 展平后接全连接
        layers.Flatten(),
        layers.Dense(64, activation='relu'),
        layers.Dense(num_classes, activation='softmax')
    ])
    return model

# 编译模型
model = build_cnn()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

我们在 MNIST 手写数字数据集上对比两种网络：