神经网络基础架构解析：从输入层到输出层的权重计算与结构设计

1次阅读

没有评论

共计 1189 个字符，预计需要花费 3 分钟才能阅读完成。

神经网络作为深度学习的核心组件，广泛应用于图像识别、自然语言处理等领域。但在实际应用中，开发者常面临以下问题：

如何合理设计网络层数和节点数？层数过少可能导致欠拟合，过多则引发过拟合
权重初始化不当导致梯度消失或爆炸
计算资源消耗大，训练时间长
超参数调整缺乏系统性方法

全连接网络(DNN)：
优点：结构简单，适合小规模数据
缺点：参数量大，计算效率低
卷积神经网络(CNN)：
优点：参数共享，适合图像处理
缺点：不擅长处理序列数据
循环神经网络(RNN)：
优点：能处理时序数据
缺点：存在梯度消失问题

输入层：
接收原始数据
节点数 = 特征维度
隐藏层：
进行特征变换
常用 ReLU 激活函数：f(x)=max(0,x)
输出层：
产生最终预测
分类任务用 softmax，回归任务用线性激活

前向传播公式：

a[l] = g(W[l]·a[l-1] + b[l])

其中：
– W[l]：第 l 层权重矩阵
– b[l]：偏置项
– g()：激活函数

import numpy as np

class NeuralNetwork:
    def __init__(self, layer_sizes):
        self.weights = [np.random.randn(y, x) 
                        for x, y in zip(layer_sizes[:-1], layer_sizes[1:])]
        self.biases = [np.random.randn(y, 1) for y in layer_sizes[1:]]

    def forward(self, x):
        a = x
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, a) + b
            a = self.relu(z)  # 隐藏层用 ReLU
        return self.softmax(z)  # 输出层用 softmax

    def relu(self, z):
        return np.maximum(0, z)

    def softmax(self, z):
        exp_z = np.exp(z - np.max(z))
        return exp_z / exp_z.sum()