BP神经网络R语言实现：从数学原理到代码实战

1次阅读

共计 2067 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种通过误差反向传播算法训练的多层前馈网络。它的核心在于通过调整权重来最小化预测误差。理解前向传播和反向传播是掌握 BP 神经网络的关键。

前向传播：输入数据从输入层经过隐藏层传递到输出层，每一层的输出都是下一层的输入。数学表达式为：
```
a^{(l)} = f(z^{(l)})
z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}
```
其中，f 是激活函数，常用 sigmoid 或 ReLU。

反向传播：通过计算输出误差，然后反向逐层调整权重和偏置。误差项 δ 的计算是关键：

δ^{(L)} = ∇_aC ⊙ f'(z^{(L)})
δ^{(l)} = ((W^{(l+1)})^Tδ^{(l+1)}) ⊙ f'(z^{(l)})

权重更新公式为：

W^{(l)} = W^{(l)} - η * δ^{(l)} * (a^{(l-1)})^T
b^{(l)} = b^{(l)} - η * δ^{(l)}

R 语言提供了多个包来实现神经网络，常用的有 nnet 和neuralnet。

nnet：简单易用，适合快速实现单隐藏层网络，但功能相对有限。
neuralnet：支持多隐藏层，提供更多自定义选项，适合复杂场景。

本文选择 neuralnet 包，因为它更灵活，适合演示完整的 BP 神经网络实现。

以下是使用 neuralnet 包实现 BP 神经网络的完整代码，包含数据预处理、模型构建、训练和评估。

# 加载必要的包
library(neuralnet)
library(caret)

# 示例数据：鸢尾花数据集
data(iris)

# 数据标准化
preprocessParams <- preProcess(iris[,1:4], method=c("center", "scale"))
iris_norm <- predict(preprocessParams, iris[,1:4])
iris_norm$Species <- iris$Species

# 划分训练集和测试集
set.seed(123)
trainIndex <- createDataPartition(iris_norm$Species, p=0.8, list=FALSE)
trainData <- iris_norm[trainIndex,]
testData <- iris_norm[-trainIndex,]

# 将分类变量转换为哑变量
trainData$setosa <- ifelse(trainData$Species == "setosa", 1, 0)
trainData$versicolor <- ifelse(trainData$Species == "versicolor", 1, 0)
trainData$virginica <- ifelse(trainData$Species == "virginica", 1, 0)

# 构建神经网络模型
# 隐层节点数设为 5，学习率为 0.01
model <- neuralnet(
  setosa + versicolor + virginica ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width,
  data = trainData,
  hidden = 5,
  learningrate = 0.01,
  linear.output = FALSE,
  algorithm = "backprop"
)

# 查看模型结构
plot(model)

# 预测测试集
testPred <- compute(model, testData[,1:4])
predictedClasses <- apply(testPred$net.result, 1, which.max)
predictedClasses <- factor(c("setosa", "versicolor", "virginica")[predictedClasses])

# 计算混淆矩阵
confusionMatrix(predictedClasses, testData$Species)

BP 神经网络的实现中有几个关键点需要注意：