BP神经网络拟合sin曲线：从数学原理到Python实战

1次阅读

共计 2703 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习中，BP 神经网络是一种经典的前馈神经网络，通过反向传播算法来训练网络权重。对于初学者来说，理解 BP 神经网络如何拟合非线性函数是一个重要的入门案例。本文将以 sin 曲线拟合为例，从数学原理到 Python 实现，逐步讲解整个过程。

为什么选择 sin 函数作为拟合目标？sin 函数具有明显的非线性特性，能够很好地测试神经网络的拟合能力。对于单输入单输出的情况，sin 函数的周期性变化可以验证神经网络是否能够捕捉到复杂的非线性关系。

非线性挑战 ：sin 函数的输出范围在[-1, 1] 之间，且其导数（cos 函数）也是连续变化的。这种特性使得神经网络必须能够处理输入和输出之间的复杂映射关系。
周期性：sin 函数的周期性变化要求神经网络能够学习到重复的模式，而不是简单的线性关系。

在设计 BP 神经网络时，输入层、隐藏层和输出层的节点数需要合理选择。对于 sin 曲线拟合，我们推荐使用以下结构：

输入层：1 个节点（对应 x 值）
隐藏层：1- 2 层，每层 10-20 个节点（根据复杂度调整）
输出层 ：1 个节点（对应 sin(x) 值）

选择 1 - 2 个隐藏层可以平衡模型的复杂度和训练效率。过多的隐藏层可能导致过拟合，而过少的隐藏层可能无法捕捉非线性关系。

激活函数的选择对神经网络的性能有很大影响。以下是几种常见激活函数在 sin 曲线拟合中的表现：

Sigmoid：输出范围在(0, 1)，适合二分类问题，但在深层网络中容易导致梯度消失。
Tanh：输出范围在(-1, 1)，与 sin 函数的输出范围匹配，适合本任务。
ReLU：计算简单，但在负数区间梯度为 0，可能导致部分神经元“死亡”。

对于 sin 曲线拟合，Tanh通常是更好的选择，因为它的输出范围和导数特性更适合周期性函数。

均方误差（MSE）是回归任务中常用的损失函数。定义如下：

[MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i – \hat{y}_i)^2 ]

其中，(y_i)是真实值，(\hat{y}_i )是预测值，(N)是样本数量。

反向传播的核心是通过链式法则计算损失函数对权重的梯度。以下是关键公式：

输出层梯度：
[\delta^{(L)} = (\hat{y} – y) \cdot f'(z^{(L)}) ]
其中，(z^{(L)} )是输出层的加权输入，(f)是激活函数。
隐藏层梯度：
[\delta^{(l)} = (W^{(l+1)})^T \delta^{(l+1)} \cdot f'(z^{(l)}) ]
权重更新：
[W^{(l)} = W^{(l)} – \alpha \cdot \delta^{(l)} (a^{(l-1)})^T ]
其中，(\alpha)是学习率，(a^{(l-1)} )是上一层的激活值。

以下是使用 NumPy 从零实现的 BP 神经网络代码：

import numpy as np
import matplotlib.pyplot as plt

# 生成数据
X = np.linspace(-2*np.pi, 2*np.pi, 1000).reshape(-1, 1)
y = np.sin(X)

# 网络参数
input_size = 1
hidden_size = 20
output_size = 1
learning_rate = 0.01
epochs = 1000

# 初始化权重
W1 = np.random.randn(input_size, hidden_size)
b1 = np.zeros((1, hidden_size))
W2 = np.random.randn(hidden_size, output_size)
b2 = np.zeros((1, output_size))

# 训练网络
losses = []
for epoch in range(epochs):
    # 前向传播
    z1 = np.dot(X, W1) + b1
    a1 = np.tanh(z1)
    z2 = np.dot(a1, W2) + b2
    y_pred = z2

    # 计算损失
    loss = np.mean((y_pred - y)**2)
    losses.append(loss)

    # 反向传播
    dL_dz2 = 2 * (y_pred - y) / len(X)
    dL_dW2 = np.dot(a1.T, dL_dz2)
    dL_db2 = np.sum(dL_dz2, axis=0, keepdims=True)
    dL_da1 = np.dot(dL_dz2, W2.T)
    dL_dz1 = dL_da1 * (1 - np.tanh(z1)**2)
    dL_dW1 = np.dot(X.T, dL_dz1)
    dL_db1 = np.sum(dL_dz1, axis=0, keepdims=True)

    # 更新权重
    W2 -= learning_rate * dL_dW2
    b2 -= learning_rate * dL_db2
    W1 -= learning_rate * dL_dW1
    b1 -= learning_rate * dL_db1

    if epoch % 100 == 0:
        print(f'Epoch {epoch}, Loss: {loss}')

# 可视化结果
plt.plot(X, y, label='True sin(x)')
plt.plot(X, y_pred, label='Predicted sin(x)')
plt.legend()
plt.show()

plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss')
plt.show()

学习率太大可能导致损失震荡甚至发散，太小则收敛缓慢。建议从 0.01 开始尝试，逐步调整。

如果训练过程中损失下降缓慢，可能是梯度消失问题。可以尝试：