BP神经网络实战：从零实现鸢尾花分类（附完整代码）

1次阅读

共计 3547 个字符，预计需要花费 9 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种通过反向传播算法进行训练的多层前馈神经网络。它的核心思想是通过计算输出误差，然后将误差反向传播到网络中的每一层，从而调整各层的权重和偏置，最终使得网络的输出尽可能接近真实值。

鸢尾花数据集（Iris dataset）是机器学习中一个经典的分类数据集，包含 150 个样本，每个样本有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 1 个类别标签（Setosa、Versicolour、Virginica）。这个数据集非常适合用来入门神经网络分类任务。

数据预处理是神经网络训练前的重要步骤，主要包括数据加载、标准化和划分训练集与测试集。

数据加载 ：我们首先使用sklearn 库加载鸢尾花数据集。这个库提供了便捷的数据加载接口，可以直接获取特征和标签。
标准化：由于神经网络的输入数据通常需要在相似的尺度上，我们对特征数据进行标准化处理，即减去均值并除以标准差。这样可以加快模型的收敛速度。
划分训练集和测试集：为了评估模型的泛化能力，我们将数据集划分为训练集（80%）和测试集（20%）。

以下是一个简单的数据预处理代码示例：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 标准化数据
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

在设计 BP 神经网络时，我们需要考虑隐藏层的数量、每层的神经元数量以及激活函数的选择。对于鸢尾花分类任务，一个简单的 2 - 3 层隐藏层的网络通常就足够了。

输入层：输入层的神经元数量应与特征数量一致，即 4 个神经元。
隐藏层：我们可以选择 2 个隐藏层，每层包含 8 -16 个神经元。隐藏层通常使用 ReLU（Rectified Linear Unit）激活函数，因为它能够有效缓解梯度消失问题。
输出层：输出层的神经元数量应与类别数量一致，即 3 个神经元（对应 3 种鸢尾花类别）。输出层通常使用 Softmax 激活函数，因为它能够将输出转换为概率分布。

以下是一个简单的网络架构代码示例（使用 TensorFlow 实现）：

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# 定义模型
model = Sequential([Dense(16, activation='relu', input_shape=(4,)),  # 第一隐藏层
    Dense(8, activation='relu'),                     # 第二隐藏层
    Dense(3, activation='softmax')                   # 输出层
])

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

以下是一个完整的 BP 神经网络实现，包括训练、评估和可视化过程：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# 数据预处理
iris = load_iris()
X = iris.data
y = iris.target

scaler = StandardScaler()
X = scaler.fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义模型
model = Sequential([Dense(16, activation='relu', input_shape=(4,)),
    Dense(8, activation='relu'),
    Dense(3, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 训练模型
history = model.fit(X_train, y_train, epochs=100, batch_size=8, validation_split=0.2, verbose=1)

# 评估模型
loss, accuracy = model.evaluate(X_test, y_test, verbose=1)
print(f"Test accuracy: {accuracy:.4f}")

# 可视化训练过程
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(history.history['accuracy'], label='Training Accuracy')
plt.plot(history.history['val_accuracy'], label='Validation Accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(history.history['loss'], label='Training Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.show()

在实际训练中，超参数的选择对模型性能有很大影响。以下是一些常见的调优技巧：

学习率（Learning Rate）：学习率决定了每次权重更新的步长。过大的学习率可能导致模型无法收敛，而过小的学习率会导致训练速度过慢。可以尝试使用 Adam 优化器，它能够自适应调整学习率。
批量大小（Batch Size）：批量大小决定了每次梯度更新时使用的样本数量。较小的批量大小（如 8 -32）通常能够带来更好的泛化性能，但会增加训练时间。
隐藏层神经元数量：隐藏层神经元数量越多，模型的表达能力越强，但也更容易过拟合。可以通过交叉验证来选择合适的神经元数量。

以下是一些新手常见的错误及解决方案：