基于BP神经网络的鸢尾花分类实战：从数据预处理到模型调优

1次阅读

共计 2163 个字符，预计需要花费 6 分钟才能阅读完成。

鸢尾花分类是机器学习入门的经典案例，但传统方法存在明显局限：

SVM（支持向量机）：对特征工程依赖性强，当特征间存在复杂非线性关系时表现受限
决策树：容易过拟合，且难以自动学习特征的高阶交互关系

BP 神经网络则展现出独特优势：

自动特征提取：通过隐藏层自动学习特征的组合方式，无需人工设计特征交叉
非线性建模能力：激活函数引入非线性，可拟合更复杂的决策边界
端到端训练：从原始数据直接输出分类结果，减少人为干预

import numpy as np
from sklearn.datasets import load_iris

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 数据标准化（避免数值尺度差异影响梯度）def standardize(X: np.ndarray) -> np.ndarray:
    mean = np.mean(X, axis=0)
    std = np.std(X, axis=0)
    return (X - mean) / (std + 1e-8)  # 防止除零

X = standardize(X)

# One-Hot 编码（3 分类任务）def one_hot(y: np.ndarray, classes: int) -> np.ndarray:
    return np.eye(classes)[y]

y = one_hot(y, 3)

关键参数选择依据：

隐藏层节点数：根据输入特征数（4）和输出类别数（3），选择 8 个节点作为折中方案
激活函数 ：隐藏层使用 Sigmoid，因其输出范围(0,1) 适合概率建模
输出层：使用 Softmax 将输出转换为概率分布

class BPNetwork:
    def __init__(self, input_size: int, hidden_size: int, output_size: int):
        # Xavier 初始化（缓解梯度消失）self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x: np.ndarray) -> np.ndarray:
        return 1 / (1 + np.exp(-x))

    def forward(self, X: np.ndarray) -> np.ndarray:
        self.hidden = self.sigmoid(X @ self.W1 + self.b1)
        return self.softmax(self.hidden @ self.W2 + self.b2)

    def softmax(self, x: np.ndarray) -> np.ndarray:
        exp_x = np.exp(x - np.max(x, axis=1, keepdims=True))
        return exp_x / np.sum(exp_x, axis=1, keepdims=True)

学习率	训练轮次（epoch）	最终准确率
0.1	500	92.3%
0.01	500	95.6%

结论：较小学习率（0.01）虽然收敛慢，但最终精度更高

def compute_loss(y_pred: np.ndarray, y_true: np.ndarray, 
                W1: np.ndarray, W2: np.ndarray, lambda_: float=0.1) -> float:
    cross_entropy = -np.mean(y_true * np.log(y_pred + 1e-8))
    l2_penalty = lambda_ * (np.sum(W1**2) + np.sum(W2**2))
    return cross_entropy + l2_penalty

正则化前后对比：

无正则化：训练集准确率 98%，测试集 92%（过拟合）
λ=0.1：训练集 96%，测试集 95%（显著改善）

错误做法：先标准化再拆分数据集 → 测试集信息泄露

正确流程：

分割训练集 / 测试集
仅用训练集计算均值方差
用相同参数标准化测试集

初始化：采用 Xavier 初始化（代码已演示）
激活函数：Sigmoid 导数最大值为 0.25，可尝试 ReLU
网络深度：隐藏层不超过 2 层

import pickle

# 保存
with open('model.pkl', 'wb') as f:
    pickle.dump({
        'W1': net.W1,
        'b1': net.b1,
        'W2': net.W2,
        'b2': net.b2
    }, f)

# 加载
with open('model.pkl', 'rb') as f:
    params = pickle.load(f)
    net.W1 = params['W1']
    # 其他参数同理...

注意事项：