全连接前馈网络与卷积神经网络核心运算：从结构图到实例解析

1次阅读

共计 1664 个字符，预计需要花费 5 分钟才能阅读完成。

深度学习中的神经网络结构设计是模型性能的关键因素。全连接前馈网络（Fully Connected Feedforward Network）和卷积神经网络（Convolutional Neural Network, CNN）是两种最基础且广泛应用的网络结构。然而，在实际应用中，设计合理的网络结构、理解卷积和池化运算的原理，以及优化网络性能，常常是开发者面临的挑战。

全连接网络 ：虽然结构简单，但参数数量庞大，容易过拟合，且对输入数据的结构不敏感。
卷积网络 ：通过局部连接和权值共享显著减少参数数量，但对卷积和池化的理解不足可能导致特征提取效果不佳。

以一个具体的全连接前馈网络为例，其结构如下：

输入层 ：10 个源节点，对应输入数据的 10 个特征。
第一隐层 ：4 个神经元，使用 ReLU 激活函数。
第二隐层 ：3 个神经元，使用 ReLU 激活函数。
输出层 ：1 个神经元，使用 Sigmoid 激活函数（适用于二分类问题）。

 输入层 (10) → 隐层 1 (4) → 隐层 2 (3) → 输出层 (1)

每一层的神经元与下一层的所有神经元全连接。
输入层到隐层 1 的权重矩阵维度为 10×4，隐层 1 到隐层 2 为 4×3，隐层 2 到输出层为 3×1。

卷积运算是 CNN 的核心，通过滑动窗口（卷积核）在输入数据上提取局部特征。

数学原理 ：卷积核与输入数据的局部区域进行逐元素相乘后求和，得到输出特征图的一个值。
实例：在图像分类中，3×3 的卷积核可以提取边缘、纹理等低级特征。

池化用于降维和减少计算量，同时增强特征的平移不变性。

最大池化 ：取窗口内的最大值，突出显著特征。
平均池化 ：取窗口内的平均值，平滑特征。

import torch
import torch.nn as nn

class FCN(nn.Module):
    def __init__(self):
        super(FCN, self).__init__()
        self.fc1 = nn.Linear(10, 4)  # 输入层到隐层 1
        self.fc2 = nn.Linear(4, 3)   # 隐层 1 到隐层 2
        self.fc3 = nn.Linear(3, 1)   # 隐层 2 到输出层
        self.relu = nn.ReLU()
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        x = self.relu(self.fc1(x))
        x = self.relu(self.fc2(x))
        x = self.sigmoid(self.fc3(x))
        return x

import tensorflow as tf

model = tf.keras.Sequential([tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D((2, 2)),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(10, activation='softmax')
])