BP神经网络超参数调优实战：从原理到最佳实践

1次阅读

共计 1583 个字符，预计需要花费 4 分钟才能阅读完成。

学习率(Learning Rate)
控制参数更新的步长，是影响模型收敛的最关键参数。过大容易震荡不收敛，过小会导致训练缓慢。典型值范围在 1e- 5 到 1e- 1 之间。
批量大小(Batch Size)
每次参数更新使用的样本数量。较大的 batch 可以加速训练但消耗更多内存，较小的 batch 能带来更好的泛化性能但会增加迭代次数。
Epoch 数
完整遍历训练集的次数。需要配合早停法 (Early Stopping) 使用以避免过拟合。
隐藏层结构
包括层数和每层神经元数量。深层网络具有更强表征能力但更易出现梯度消失问题。

梯度消失 / 爆炸：深层网络在反向传播时梯度指数级减小或增大
训练震荡：学习率过大导致损失函数值剧烈波动
过拟合：模型在训练集表现良好但测试集性能差
欠拟合：模型容量不足无法学习有效特征

方法	优点	缺点	适用场景
网格搜索	结果可靠	计算成本高	超参数空间较小时
随机搜索	效率较高	可能错过最优解	中等参数空间
贝叶斯优化	智能采样	实现复杂	计算资源充足时

import tensorflow as tf
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
from sklearn.model_selection import RandomizedSearchCV

# 模型构建函数
def build_model(learning_rate=0.01, units=64):
    model = tf.keras.Sequential([tf.keras.layers.Dense(units, activation='relu'),
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)
    model.compile(optimizer=optimizer,
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
    return model

# 参数搜索空间
param_dist = {'learning_rate': [1e-2, 1e-3, 1e-4],
    'units': [32, 64, 128],
    'batch_size': [32, 64, 128]
}

# 执行随机搜索
model = KerasClassifier(build_fn=build_model, epochs=10)
random_search = RandomizedSearchCV(
    estimator=model, 
    param_distributions=param_dist,
    n_iter=10,
    cv=3)
random_search.fit(X_train, y_train)