BP神经网络实战：从零实现鸢尾花分类模型

1次阅读

共计 2514 个字符，预计需要花费 7 分钟才能阅读完成。

BP 神经网络是一种通过误差反向传播算法训练的多层前馈网络。其核心是通过链式法则计算损失函数对每一层参数的梯度，然后使用梯度下降法更新权重。鸢尾花数据集（Iris）是机器学习领域的经典数据集，包含 150 个样本，每个样本有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 3 个类别标签（Setosa、Versicolor、Virginica）。

标准化：将特征数据缩放到均值为 0，方差为 1 的分布，公式为：
$$x’ = \frac{x – \mu}{\sigma}$$
训练集 / 测试集划分：通常按 7:3 或 8:2 比例分割，确保数据分布一致

输入层节点数：4（对应 4 个特征）
隐藏层节点数：经验公式 $\sqrt{输入节点数 \times 输出节点数}$，通常取 5 -10
输出层节点数：3（对应 3 个类别），使用 Softmax 输出概率分布

隐藏层激活函数：Sigmoid 函数
$$\sigma(z) = \frac{1}{1+e^{-z}}$$
损失函数：交叉熵损失
$$L = -\sum y_i \log(p_i)$$

import numpy as np
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 数据加载与预处理
iris = load_iris()
X, y = iris.data, iris.target
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 将标签转为 one-hot 编码
def to_onehot(y):
    onehot = np.zeros((len(y), 3))
    for i in range(len(y)):
        onehot[i, y[i]] = 1
    return onehot

y_onehot = to_onehot(y)
X_train, X_test, y_train, y_test = train_test_split(X, y_onehot, test_size=0.3)

# 网络参数初始化
input_size = 4
hidden_size = 6
output_size = 3
learning_rate = 0.1
epochs = 1000

# 初始化权重（Xavier 初始化）W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)

# 定义激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 训练过程
loss_history = []

for epoch in range(epochs):
    # 前向传播
    hidden_input = np.dot(X_train, W1)
    hidden_output = sigmoid(hidden_input)
    output_input = np.dot(hidden_output, W2)
    output_output = sigmoid(output_input)

    # 计算损失
    loss = -np.sum(y_train * np.log(output_output)) / len(X_train)
    loss_history.append(loss)

    # 反向传播
    output_error = output_output - y_train
    output_delta = output_error * sigmoid_derivative(output_output)

    hidden_error = np.dot(output_delta, W2.T)
    hidden_delta = hidden_error * sigmoid_derivative(hidden_output)

    # 更新权重
    W2 -= learning_rate * np.dot(hidden_output.T, output_delta)
    W1 -= learning_rate * np.dot(X_train.T, hidden_delta)

    # 早停法
    if len(loss_history) > 10 and abs(loss_history[-10] - loss) < 1e-6:
        break

# 测试集评估
def predict(X):
    hidden = sigmoid(np.dot(X, W1))
    output = sigmoid(np.dot(hidden, W2))
    return np.argmax(output, axis=1)

y_pred = predict(X_test)
y_true = np.argmax(y_test, axis=1)
accuracy = np.mean(y_pred == y_true)
print(f"测试集准确率: {accuracy:.2%}")