神经网络基础：深入解析前向传播、反向传播与激活函数的工作原理

1次阅读

没有评论

共计 2589 个字符，预计需要花费 7 分钟才能阅读完成。

初学神经网络时，很多人直接调用框架（如 TensorFlow/PyTorch）的 API，却对底层机制一知半解。这会导致：

调试困难：当模型出现梯度消失或爆炸时，无法定位问题根源
效率低下：不理解计算流程可能导致冗余操作（如不必要的矩阵转置）
参数调优盲目：选择激活函数时仅凭经验，不了解不同函数的特性边界

常见误区包括：

认为反向传播是独立于前向传播的算法（实际是同一计算图的正反两面）
忽视激活函数的输出范围对梯度更新的影响（如 Sigmoid 导致饱和区梯度趋近 0）
混淆矩阵运算的维度（如误将偏置项 broadcast 到错误维度）

前向传播的本质是 层层加权求和 + 非线性变换。以单隐藏层网络为例：

输入层→隐藏层计算：
$$h = \sigma(W_1^Tx + b_1)$$
隐藏层→输出层计算：
$$y_{pred} = \sigma(W_2^Th + b_2)$$

其中 $\sigma$ 代表激活函数，关键点：

矩阵 $W_1$ 的维度是(input_dim, hidden_dim)
每层的计算都包含线性变换和非线性激活两步
最终输出需要根据任务选择适当的激活（如二分类用 Sigmoid）

反向传播通过链式法则逐层计算损失函数对参数的梯度。以均方误差损失为例：

计算输出层梯度：
$$\frac{\partial L}{\partial W_2} = (y_{pred}-y_{true}) \cdot \sigma'(z_2) \cdot h^T$$
计算隐藏层梯度：
$$\frac{\partial L}{\partial W_1} = W_2^T \cdot \frac{\partial L}{\partial z_2} \cdot \sigma'(z_1) \cdot x^T$$

需要注意：

$\sigma’$ 指激活函数的导数（如 ReLU 在 x = 0 处不可导需特殊处理）
实际实现时应先计算梯度再统一更新参数
批量计算时梯度是样本梯度的平均值

函数	公式	优点	缺点
Sigmoid	$1/(1+e^{-x})$	输出范围 (0,1) 适合概率	梯度消失严重
Tanh	$(e^x-e^{-x})/…$	输出范围 (-1,1) 中心对称	同样存在饱和问题
ReLU	$max(0,x)$	计算简单缓解梯度消失	负数区完全失效（Dead ReLU）
LeakyReLU	$max(0.01x,x)$	解决 Dead ReLU 问题	需要调参斜率参数

import numpy as np

class SimpleNN:
    def __init__(self, input_dim, hidden_dim):
        self.W1 = np.random.randn(input_dim, hidden_dim) * 0.01
        self.b1 = np.zeros(hidden_dim)
        self.W2 = np.random.randn(hidden_dim, 1) * 0.01
        self.b2 = np.zeros(1)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, x):
        self.z1 = np.dot(x, self.W1) + self.b1
        self.h = self.sigmoid(self.z1)
        self.z2 = np.dot(self.h, self.W2) + self.b2
        return self.sigmoid(self.z2)

    def backward(self, x, y_true, lr=0.01):
        m = x.shape[0]  # 样本数

        # 输出层梯度
        dL_dz2 = (self.forward(x) - y_true) * self.sigmoid(self.z2) * (1 - self.sigmoid(self.z2))
        dW2 = np.dot(self.h.T, dL_dz2) / m
        db2 = np.sum(dL_dz2, axis=0) / m

        # 隐藏层梯度
        dL_dh = np.dot(dL_dz2, self.W2.T)
        dL_dz1 = dL_dh * self.sigmoid(self.z1) * (1 - self.sigmoid(self.z1))
        dW1 = np.dot(x.T, dL_dz1) / m
        db1 = np.sum(dL_dz1, axis=0) / m

        # 参数更新
        self.W2 -= lr * dW2
        self.b2 -= lr * db2
        self.W1 -= lr * dW1
        self.b1 -= lr * db1

内存占用：全连接层参数数量随维度平方增长，建议：
使用稀疏矩阵（如 ReLU 激活后零值多）
半精度浮点数（FP16）训练
训练速度：
ReLU 比 Sigmoid 快约 6 倍（因指数运算少）
批量归一化 (BatchNorm) 允许使用更高学习率

初始化陷阱：
错误做法：全零初始化导致对称性问题
解决方案：使用 Xavier/Glorot 初始化
梯度检查：
错误现象：手动实现的梯度与数值梯度差异大
调试方法：用 np.gradient 验证关键步骤
维度对齐：
常见错误：(m,n)矩阵与 (n,) 向量相加时 broadcast 出错
技巧：始终明确各张量的 shape 并打印检查
激活函数选择：
二分类输出层必须用 Sigmoid，但隐藏层建议 ReLU
多分类输出层用 Softmax 而非多个 Sigmoid
学习率设置：
过大会震荡，过小收敛慢
建议：使用学习率衰减（如 lr *= 0.95 每 10 个 epoch）

问题：如何修改现有代码支持批量训练？

参考答案：
1. 在 forward/backward 中增加 batch 维度处理
2. 计算 loss 时取 batch 内平均值
3. 矩阵运算保持 batch 维度在最外层
4. 示例修改：

def forward(self, x_batch):  # x_batch 形状(batch_size, input_dim)
    self.z1 = np.dot(x_batch, self.W1) + self.b1  # 自动 broadcast
    ...

def backward(self, x_batch, y_batch, lr):
    batch_size = x_batch.shape[0]
    dW2 = np.dot(self.h.T, dL_dz2) / batch_size  # 按 batch 取平均
    ...

通过理解这些基础概念，你已经迈出了从调包侠到真正 AI 工程师的关键一步。建议尝试在 MNIST 数据集上实践这个简单网络，观察不同激活函数对准确率的影响。

正文完