BP神经网络拟合sin曲线：从数学原理到PyTorch实战

1次阅读

共计 2508 个字符，预计需要花费 7 分钟才能阅读完成。

在工程实践中，sin 函数的拟合具有广泛的应用场景。比如在信号处理中，我们需要对周期性信号进行建模和分析；在控制系统中，sin 函数常用于描述振荡系统的行为；在通信领域，载波信号也常常是 sin 函数。传统的方法如多项式回归虽然简单，但在拟合周期性函数时往往表现不佳，容易产生过拟合现象。

我们先来看一个简单的例子：使用多项式回归拟合 sin 函数。在 MATLAB 或 Python 中，我们可以很容易地实现这个功能。

import numpy as np
import matplotlib.pyplot as plt

# 生成数据
x = np.linspace(0, 2*np.pi, 100)
y = np.sin(x)

# 多项式拟合
coeffs = np.polyfit(x, y, 10)
poly = np.poly1d(coeffs)

# 绘制结果
plt.plot(x, y, label='True sin')
plt.plot(x, poly(x), label='Polyfit')
plt.legend()
plt.show()

可以看到，虽然多项式在训练数据点上拟合得不错，但在区间外就会出现严重的震荡，这就是典型的过拟合现象。相比之下，神经网络由于其强大的非线性拟合能力，能够更好地捕捉周期性特征。

对于 sin 函数这样的简单周期函数，我们不需要特别深的网络结构。实验表明，一个包含 1 - 2 个隐藏层的网络就足够了。神经元数量方面，每个隐藏层 16-32 个神经元通常就能达到不错的效果。

在拟合周期函数时，激活函数的选择尤为重要。我们比较三种常见的激活函数：

ReLU：$f(x) = max(0, x)$
Tanh：$f(x) = \frac{e^x – e^{-x}}{e^x + e^{-x}}$
Sigmoid：$f(x) = \frac{1}{1 + e^{-x}}$

实验表明，Tanh 函数由于其输出范围在 [-1,1] 之间，与 sin 函数的输出范围一致，因此表现最好。

下面是一个完整的 PyTorch 实现代码，包含了 Dropout 层来防止过拟合：

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

# 生成训练数据
x = torch.linspace(0, 2*np.pi, 100).view(-1, 1)
y = torch.sin(x)

# 定义网络结构
class SinNet(nn.Module):
    def __init__(self):
        super(SinNet, self).__init__()
        self.fc1 = nn.Linear(1, 32)  # 输入层到隐藏层
        self.fc2 = nn.Linear(32, 32) # 隐藏层
        self.fc3 = nn.Linear(32, 1)  # 隐藏层到输出层
        self.dropout = nn.Dropout(0.2) # Dropout 层

    def forward(self, x):
        x = torch.tanh(self.fc1(x))
        x = self.dropout(x)
        x = torch.tanh(self.fc2(x))
        x = self.fc3(x)
        return x

# 初始化模型
model = SinNet()
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.01)

# 训练模型
losses = []
for epoch in range(1000):
    optimizer.zero_grad()
    outputs = model(x)
    loss = criterion(outputs, y)
    loss.backward()
    optimizer.step()
    losses.append(loss.item())

    if epoch % 100 == 0:
        print(f'Epoch {epoch}, Loss: {loss.item()}')

# 绘制结果
plt.plot(losses)
plt.title('Training Loss')
plt.show()

with torch.no_grad():
    pred = model(x)
    plt.plot(x.numpy(), y.numpy(), label='True')
    plt.plot(x.numpy(), pred.numpy(), label='Predicted')
    plt.legend()
    plt.show()

学习率是影响训练效果的重要参数。过大的学习率可能导致无法收敛，过小则会导致训练速度过慢。建议从 0.01 开始尝试，根据 loss 曲线的变化进行调整。

为了避免过拟合，我们可以实现早停法（Early Stopping）：

best_loss = float('inf')
patience = 20
counter = 0

for epoch in range(1000):
    # 训练步骤...

    current_loss = loss.item()
    if current_loss < best_loss:
        best_loss = current_loss
        counter = 0
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break

在深层网络中，如果使用 sigmoid 激活函数，可能会遇到梯度消失的问题。可以通过以下方法解决：