BP神经网络R语言实现：从数学原理到代码实战

1次阅读

共计 2298 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种多层前馈神经网络，通过误差反向传播算法进行训练。它的核心思想是通过不断调整网络中的权重和偏置，使得网络的输出尽可能接近期望的输出。

前向传播是指输入数据从输入层经过隐藏层最终到达输出层的过程。对于每个神经元，其输出可以表示为：

a = f(w·x + b)

其中：
– w 是权重向量
– x 是输入向量
– b 是偏置项
– f 是激活函数（常用 sigmoid、ReLU 等）

反向传播是根据输出误差来调整网络参数的过程。主要步骤包括：

计算输出层误差
将误差反向传播到隐藏层
根据误差调整权重和偏置

关键公式包括误差计算和权重更新：

δ = (y - a) * f'(z)
Δw = η * δ * a

其中 η 是学习率，δ 是误差项。

R 语言中有多个包可以实现神经网络，以下是主要选项：

nnet：基础神经网络包，实现简单但功能有限
neuralnet：支持多层网络，可视化功能好
RSNNS：接口到 Stuttgart Neural Network Simulator
keras：高级 API，支持深度学习

本文选择 neuralnet 包，因为它在功能和易用性之间取得了良好平衡。

# 加载必要包
library(neuralnet)
library(caret)

# 数据标准化
normalize <- function(x) {return ((x - min(x)) / (max(x) - min(x)))
}

# 示例使用 iris 数据集
data <- iris
data[,1:4] <- as.data.frame(lapply(data[,1:4], normalize))

# 划分训练测试集
set.seed(123)
trainIndex <- createDataPartition(data$Species, p=0.7, list=FALSE)
train <- data[trainIndex,]
test <- data[-trainIndex,]

# 构建公式
n <- names(train)
f <- as.formula(paste("Species ~", paste(n[!n %in% "Species"], collapse = "+")))

# 训练神经网络
nn <- neuralnet(f,
               data = train,
               hidden = c(5,3),  # 两层隐藏层，分别 5 和 3 个节点
               linear.output = FALSE,  # 分类问题
               act.fct = "logistic",  # sigmoid 激活函数
               lifesign = "full",  # 显示训练过程
               threshold = 0.01)  # 误差阈值

# 可视化网络结构
plot(nn)

# 预测
pred <- compute(nn, test[,1:4])
predicted_class <- apply(pred$net.result, 1, which.max)

# 转换为因子
predicted_class <- factor(levels(test$Species)[predicted_class])

# 混淆矩阵
confusionMatrix(predicted_class, test$Species)

# 使用 mtcars 数据集
data(mtcars)
data <- mtcars

# 标准化
data <- as.data.frame(lapply(data, normalize))

# 训练回归模型
nn_reg <- neuralnet(mpg ~ cyl + disp + hp + wt,
                   data = data,
                   hidden = c(3),
                   linear.output = TRUE)  # 回归问题

# 预测
pred <- compute(nn_reg, data[,c("cyl","disp","hp","wt")])

# 计算 RMSE
sqrt(mean((pred$net.result - data$mpg)^2))

学习率 (η) 是神经网络训练中最重要的超参数之一：