BP神经网络实战：从理论到波士顿房价预测模型构建

1次阅读

共计 2165 个字符，预计需要花费 6 分钟才能阅读完成。

在房价预测领域，传统线性回归模型虽然简单直观，但存在明显的局限性。线性回归假设特征与目标变量之间存在线性关系，而现实中房价受多种因素（如地理位置、房屋年龄、周边设施等）综合影响，这些因素往往呈现出复杂的非线性交互作用。

线性回归的不足：无法捕捉特征间的非线性关系，对复杂数据模式拟合能力有限
BP 神经网络的优势：
强大的非线性拟合能力，可以学习任意复杂的函数关系
自动特征学习，无需手动设计特征交互项
通过多层网络结构实现特征的层级抽象

维度	BP 神经网络	决策树	SVM
时间成本	较高（需调参）	低	中等
预测精度	高（复杂数据）	中等	高（小样本）
可解释性	低（黑盒）	高	中等
适用场景	大规模非线性数据	结构化规则数据	小样本高维数据

from sklearn.preprocessing import StandardScaler

# 使用 Z -Score 标准化（相比 MinMax 对异常值更鲁棒）scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)  # 注意：使用训练集的均值和方差

为什么选择 Z -Score？
– 保持数据分布形状不变
– 对异常值不敏感
– 适用于大多数激活函数（如 ReLU）的输入范围

import tensorflow as tf

model = tf.keras.Sequential([
    # 输入层（13 个特征）tf.keras.layers.Dense(64, activation='relu', input_shape=(13,)),
    # 隐藏层（建议 4 - 8 个神经元，此处选择 6 个）tf.keras.layers.Dense(32, activation='relu'),
    # 输出层（1 个节点，无激活函数）tf.keras.layers.Dense(1)
])

# 配置模型
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='mse',  # 均方误差
    metrics=['mae']  # 平均绝对误差
)

初始建议：0.001-0.01
动态调整：可使用 ReduceLROnPlateau 回调

lr_scheduler = tf.keras.callbacks.ReduceLROnPlateau(
    monitor='val_loss', 
    factor=0.5,
    patience=5,
    min_lr=1e-6
)

Batch Size	内存消耗	收敛速度	梯度稳定性
小（32）	低	慢	波动大
中（64）	中等	中等	较稳定
大（256）	高	快	非常稳定

early_stop = tf.keras.callbacks.EarlyStopping(
    monitor='val_loss',
    patience=10,
    restore_best_weights=True
)

history = model.fit(
    X_train, y_train,
    validation_split=0.2,
    epochs=100,
    batch_size=64,
    callbacks=[early_stop, lr_scheduler]
)

使用热力图检查特征间相关性
移除高相关特征（如 tax 和rad的相关系数 >0.9）

import seaborn as sns
sns.heatmap(df.corr(), annot=True)

现象：深层网络训练停滞，参数更新微弱
解决方案：
使用 ReLU 激活函数
添加 Batch Normalization 层
监控梯度变化

# 梯度监控示例
for layer in model.layers:
    print(f"{layer.name} max grad:", 
          tf.reduce_max(layer.weights[0]).numpy())

确保测试集不参与任何预处理步骤的拟合
使用 sklearn.model_selection.train_test_split 的random_state固定划分

from sklearn.metrics import r2_score

y_pred = model.predict(X_test)
print(f"R2 Score: {r2_score(y_test, y_pred):.4f}")
print(f"MSE: {np.mean((y_test - y_pred)**2):.4f}")

典型结果对比