全连接前馈网络结构解析与卷积神经网络实战：从构造到运算实例

1次阅读

没有评论

共计 1846 个字符，预计需要花费 5 分钟才能阅读完成。

全连接前馈网络（Fully Connected Feedforward Network）是一种经典的神经网络结构，其中每一层的神经元都与下一层的所有神经元相连。在本文中，我们将构建一个具有以下结构的网络：

输入层 ：10 个源节点（即输入特征维度为 10）
第一个隐层 ：4 个神经元
第二个隐层 ：3 个神经元
输出层 ：1 个神经元

为了更好地理解这个网络的结构，我们可以用以下方式描述其连接方式：

输入层的 10 个节点分别连接到第一个隐层的 4 个神经元，形成 10×4 的连接矩阵。
第一个隐层的 4 个神经元连接到第二个隐层的 3 个神经元，形成 4×3 的连接矩阵。
第二个隐层的 3 个神经元连接到输出层的 1 个神经元，形成 3×1 的连接矩阵。

这种结构的网络适合用于回归或二分类任务，输出层通常使用 Sigmoid 或线性激活函数。

在构造全连接前馈网络时，开发者可能会遇到以下问题：

神经元数量的选择 ：隐层的神经元数量需要根据任务的复杂度和数据量来确定。过多的神经元可能导致过拟合，而过少的神经元可能无法捕捉数据的特征。
层间连接方式 ：全连接网络的参数量较大，尤其是输入维度较高时，容易导致计算资源消耗过多。
激活函数的选择 ：隐层通常使用 ReLU 或 Tanh 激活函数，而输出层的激活函数需要根据任务类型选择。

卷积神经网络（CNN）通过卷积和池化运算提取图像或其他网格数据的局部特征。以下是这两种运算的核心原理：

卷积运算通过滑动一个卷积核（或滤波器）在输入数据上，计算局部区域的加权和。关键参数包括：

步长（Stride）：卷积核滑动的步长。较大的步长会减少输出的尺寸。
填充（Padding）：在输入数据的边缘填充零值，以控制输出尺寸。
卷积核大小 ：通常为 3×3 或 5×5，决定了感受野的大小。

池化运算用于降采样，减少数据尺寸和计算量。常见的池化方式包括：

最大池化（Max Pooling）：取局部区域的最大值。
平均池化（Average Pooling）：取局部区域的平均值。

假设我们有一个输入图像尺寸为 5×5，使用一个 3×3 的卷积核，步长为 1，无填充。卷积后的输出尺寸为 3×3。如果接着使用 2×2 的最大池化，步长为 2，则输出尺寸为 1×1。

以下是使用 PyTorch 实现上述全连接前馈网络的代码：

import torch
import torch.nn as nn

class FeedforwardNetwork(nn.Module):
    def __init__(self):
        super(FeedforwardNetwork, self).__init__()
        self.fc1 = nn.Linear(10, 4)  # 输入层到第一个隐层
        self.fc2 = nn.Linear(4, 3)   # 第一个隐层到第二个隐层
        self.fc3 = nn.Linear(3, 1)   # 第二个隐层到输出层
        self.relu = nn.ReLU()        # 激活函数

    def forward(self, x):
        x = self.relu(self.fc1(x))
        x = self.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 实例化网络
model = FeedforwardNetwork()
print(model)

全连接前馈网络的计算复杂度主要取决于各层的连接数。对于本文的网络：