基于随机森林的颜色与物质浓度辨识实战——2017年数学建模竞赛C题Python实现解析

1次阅读

共计 2378 个字符，预计需要花费 6 分钟才能阅读完成。

2017 年高教社杯全国大学生数学建模竞赛 C 题的核心任务是通过物质的光谱颜色数据预测其浓度。这类问题在化工、医药等领域非常常见，比如通过溶液的颜色判断其成分浓度。题目给出的数据集包含不同浓度物质对应的光谱反射率数据，要求建立数学模型实现从颜色特征到浓度的准确预测。

数据特点主要包括：

光谱数据维度较高，但存在冗余
浓度与颜色特征之间是非线性关系
不同浓度样本数量可能不均衡

在解决这类回归问题时，我们对比了几种常见算法：

支持向量机 (SVM)
优点：在小样本情况下表现良好
缺点：核函数选择困难，调参复杂
神经网络
优点：能够拟合复杂非线性关系
缺点：需要大量数据，训练时间长
随机森林
优点：
- 天然适合高维数据
- 内置特征选择机制
- 对异常值不敏感
- 训练速度快
- 提供特征重要性评估
缺点：在极端高维数据下可能过拟合

综合考虑竞赛场景的数据特点和实现难度，随机森林成为最佳选择。

以下是使用 Python 和 sklearn 库的完整实现流程：

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 读取数据
data = pd.read_csv('spectrum_data.csv')

# 分离特征和标签
X = data.iloc[:, :-1]  # 光谱特征
Y = data.iloc[:, -1]   # 浓度值

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, Y_train, Y_test = train_test_split(X_scaled, Y, test_size=0.2, random_state=42)

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error

# 初始化随机森林模型
rf = RandomForestRegressor(
    n_estimators=100, 
    max_depth=None,
    min_samples_split=2,
    random_state=42,
    oob_score=True  # 启用 OOB 误差估计
)

# 训练模型
rf.fit(X_train, Y_train)

# 预测测试集
Y_pred = rf.predict(X_test)

# 评估模型
mse = mean_squared_error(Y_test, Y_pred)
print(f'测试集 MSE: {mse:.4f}')
print(f'OOB 误差: {rf.oob_score_:.4f}')

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20],
    'min_samples_split': [2, 5, 10]
}

# 初始化网格搜索
grid_search = GridSearchCV(estimator=RandomForestRegressor(random_state=42),
    param_grid=param_grid,
    cv=5,
    scoring='neg_mean_squared_error'
)

# 执行搜索
grid_search.fit(X_train, Y_train)

# 输出最佳参数
print(f'最佳参数: {grid_search.best_params_}')
print(f'最佳 MSE: {-grid_search.best_score_:.4f}')

import matplotlib.pyplot as plt

# 获取特征重要性
importances = rf.feature_importances_

# 可视化
plt.figure(figsize=(10, 6))
plt.bar(range(len(importances)), importances)
plt.xlabel('特征索引')
plt.ylabel('重要性分数')
plt.title('随机森林特征重要性')
plt.show()

在解决这类问题时，有几个常见陷阱需要注意：