BP神经网络实战：从零实现Iris分类预测（附完整代码与调优指南）

1次阅读

共计 2121 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习领域，BP 神经网络因其强大的非线性拟合能力，成为解决复杂分类问题的利器。相较于逻辑回归等线性模型，BP 神经网络通过多层隐藏层和激活函数的组合，能够自动学习特征间的高阶交互关系。以 Iris 数据集为例，当类别边界呈现非线性时（如花瓣宽度与花萼长度的交叉特征影响分类），传统方法需要手动构造多项式特征，而神经网络通过梯度下降自动提取这些模式，这正是其核心优势所在。

数据标准化
由于 Iris 数据集中特征量纲差异较大（如花萼长度范围 4.3-7.9cm，花瓣宽度 0.1-2.5cm），需进行 Z -score 标准化：
```
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
```
标准化后各特征均值为 0、方差为 1，可加速梯度下降收敛。
标签独热编码
三类标签需转换为 one-hot 形式，例如类别 2 编码为 [0,0,1]，对应输出层使用 softmax 激活：
```
y_onehot = np.eye(3)[y]
```

输入层节点数
由 Iris 的 4 个特征（花萼长宽、花瓣长宽）决定，设为 4。
隐藏层设计
单隐藏层实验表明，8-12 个神经元即可达到 95%+ 准确率
使用 ReLU 激活函数：$f(x)=max(0,x)$，缓解梯度消失
输出层配置
3 个节点对应三类鸢尾花
Softmax 函数归一化输出概率：
$$\sigma(z)j = \frac{e^{z_j}}{\sum$$}^K e^{z_k}

以均方误差损失为例，推导权重更新过程：

输出层梯度计算
$$\frac{\partial L}{\partial w_{jk}^{(2)}} = (y_j – \hat{y}_j) \cdot \sigma'(z_j) \cdot h_k$$
隐藏层梯度传播
$$\frac{\partial L}{\partial w_{ij}^{(1)}} = \left[\sum_k (y_k – \hat{y}k)w\right] \cdot ReLU'(z_j) \cdot x_i$$}^{(2)
参数更新公式
$$w_{new} = w_{old} – \eta \cdot \frac{\partial L}{\partial w}$$

import numpy as np

class NeuralNetwork:
    def __init__(self):
        # 初始化权重（He 初始化）self.W1 = np.random.randn(4, 8) * np.sqrt(2/4)
        self.b1 = np.zeros(8)
        self.W2 = np.random.randn(8, 3) * np.sqrt(2/8)

    def relu(self, x):
        return np.maximum(0, x)

    def softmax(self, x):
        exps = np.exp(x - np.max(x))
        return exps / np.sum(exps, axis=1, keepdims=True)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.relu(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        return self.softmax(self.z2)

    def train(self, X, y, lr=0.01, epochs=1000):
        for _ in range(epochs):
            # 前向传播
            y_pred = self.forward(X)

            # 反向传播
            error = y_pred - y
            dW2 = np.dot(self.a1.T, error)

            hidden_error = np.dot(error, self.W2.T) * (self.z1 > 0)
            dW1 = np.dot(X.T, hidden_error)

            # 参数更新
            self.W2 -= lr * dW2
            self.W1 -= lr * dW1

学习率对比实验
过大（如 0.1）：损失震荡不收敛
过小（如 0.0001）：收敛速度过慢
推荐初始值 0.01，配合指数衰减
激活函数选择
ReLU：训练速度更快（梯度为 1 时无饱和）
Sigmoid：需谨慎初始化（易梯度消失）
正则化技术
L2 正则化：损失函数增加 $\frac{\lambda}{2}||W||^2$
Dropout：训练时随机屏蔽 50% 神经元

梯度爆炸
现象：损失突增至 NaN
对策：梯度裁剪（np.clip(grad, -1, 1)）
类别不平衡
优先看召回率（Recall）而非准确率
可采用 F1-score 综合评估

多分类扩展
当前结构已支持多分类，若类别增至 N 种，只需调整输出层维度。
BatchNorm 应用
虽然 Iris 数据量较小（150 样本），但添加 BN 层仍可提升约 2% 准确率：
```
# 在隐藏层后插入
self.bn1 = (self.z1 - np.mean(self.z1)) / np.std(self.z1)
```

通过本实践可见，BP 神经网络在中小规模分类任务中展现出色性能。建议读者尝试调整隐藏层数、添加早停机制（Early Stopping）等进一步优化模型。

正文完