从零开始理解bp神经网络与卷积神经网络(cnn)：核心原理与实战对比

1次阅读

没有评论

共计 2078 个字符，预计需要花费 6 分钟才能阅读完成。

对于刚入门机器学习的新手来说，bp 神经网络和卷积神经网络 (cnn) 常常让人感到困惑。很多初学者会有这样的疑问：

为什么已经有了 bp 神经网络，还需要 cnn？
这两种网络在结构上到底有什么区别？
在实际项目中该如何选择使用哪种网络？

更常见的问题是，新手往往无法理解为什么 cnn 在图像处理任务上表现更好，或者在实现时混淆了两种网络的关键参数设置。

bp 神经网络：
全连接结构
每层神经元与下一层所有神经元相连
参数量大，容易过拟合
卷积神经网络：
局部连接（卷积核）
共享权重机制
池化层降维
参数量相对较小

bp 神经网络：
纯矩阵运算
反向传播更新所有权重
卷积神经网络：
卷积运算提取局部特征
池化运算降低空间维度
反向传播时只更新卷积核参数

bp 神经网络适用场景：
结构化数据
特征维度不高
数据不具有空间相关性
卷积神经网络适用场景：
图像、视频等网格化数据
数据具有空间局部相关性
需要平移不变性的任务

import numpy as np

class BPNetwork:
    def __init__(self, layers):
        # 初始化权重
        self.weights = [np.random.randn(y, x) 
                        for x, y in zip(layers[:-1], layers[1:])]

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, x):
        # 前向传播
        for w in self.weights:
            x = self.sigmoid(np.dot(w, x))
        return x

    def train(self, x, y, epochs=1000, lr=0.1):
        # 训练过程
        for _ in range(epochs):
            # 正向传播
            activations = [x]
            for w in self.weights:
                x = self.sigmoid(np.dot(w, x))
                activations.append(x)

            # 反向传播
            error = y - activations[-1]
            deltas = [error * activations[-1] * (1 - activations[-1])]

            for i in range(len(self.weights)-1, 0, -1):
                delta = np.dot(self.weights[i].T, deltas[-1]) * \
                        activations[i] * (1 - activations[i])
                deltas.append(delta)

            deltas.reverse()

            # 更新权重
            for i in range(len(self.weights)):
                self.weights[i] += lr * np.outer(deltas[i], activations[i])

import tensorflow as tf

# 构建 CNN 模型
model = tf.keras.Sequential([
    # 卷积层
    tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),
    # 池化层
    tf.keras.layers.MaxPooling2D((2,2)),
    # 第二个卷积层
    tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
    # 第二个池化层
    tf.keras.layers.MaxPooling2D((2,2)),
    # 展平层
    tf.keras.layers.Flatten(),
    # 全连接层
    tf.keras.layers.Dense(64, activation='relu'),
    # 输出层
    tf.keras.layers.Dense(10, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

在 MNIST 数据集上的对比结果：