机器学习实战：基于abalone数据集预测鲍鱼年龄的完整指南

1次阅读

共计 3506 个字符，预计需要花费 9 分钟才能阅读完成。

abalone 数据集是机器学习领域常用的经典数据集，记录了鲍鱼的物理特征（如长度、直径、重量等）以及通过切片计数得到的真实年龄（环数 +1.5）。预测年龄在渔业管理和市场定价中有直接应用价值：

传统年龄检测需切开贝壳计数环纹，会破坏样本
准确预测能帮助养殖场优化饲养周期
海鲜市场可根据预测年龄分级定价

数据集包含 4177 条样本，8 个特征（1 个分类特征 ” 性别 ”，7 个连续型物理测量值），目标变量是环数（Rings）。数据质量较好，但存在特征量纲差异大、性别类别不平衡等特点。

abalone 数据集本身没有缺失值，但实际项目中建议先做检查：

import pandas as pd
df = pd.read_csv('abalone.csv')
print(df.isnull().sum())  # 检查缺失值

异常值处理可采用 IQR 方法：

Q1 = df['Height'].quantile(0.25)
Q3 = df['Height'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['Height'] < (Q1 - 1.5*IQR)) | (df['Height'] > (Q3 + 1.5*IQR)))]

由于各特征量纲不同（长度单位是毫米，重量是克），需要标准化：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
cont_features = ['Length','Diameter','Height','Whole weight','Shucked weight','Viscera weight','Shell weight']
df[cont_features] = scaler.fit_transform(df[cont_features])

性别特征（M/F/I）使用独热编码：

df = pd.get_dummies(df, columns=['Sex'], drop_first=True)

原始特征间的比例可能更有预测力：

df['Volume_approx'] = df['Length'] * df['Diameter'] * df['Height']
df['Weight_ratio'] = df['Shell weight'] / df['Whole weight']

使用随机森林评估特征重要性：

from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor()
rf.fit(X_train, y_train)
feat_importances = pd.Series(rf.feature_importances_, index=X_train.columns)
feat_importances.nlargest(10).plot(kind='barh')

测试四种常见算法：

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from xgboost import XGBRegressor

models = {'LR': LinearRegression(),
    'DT': DecisionTreeRegressor(max_depth=5),
    'RF': RandomForestRegressor(n_estimators=100),
    'XGB': XGBRegressor()}

for name, model in models.items():
    model.fit(X_train, y_train)
    pred = model.predict(X_test)
    print(f"{name} MSE: {mean_squared_error(y_test, pred):.2f}")

对表现最好的 XGBoost 进行网格搜索：

from sklearn.model_selection import GridSearchCV

param_grid = {'n_estimators': [50, 100, 200],
    'max_depth': [3, 5, 7],
    'learning_rate': [0.01, 0.1, 0.2]
}

grid = GridSearchCV(XGBRegressor(), param_grid, cv=5)
grid.fit(X_train, y_train)
print(f"Best params: {grid.best_params_}")

# 完整流程示例
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from xgboost import XGBRegressor
from sklearn.metrics import mean_squared_error

# 数据加载与预处理
df = pd.read_csv('abalone.csv')
df = pd.get_dummies(df, columns=['Sex'], drop_first=True)
df['Volume_approx'] = df['Length'] * df['Diameter'] * df['Height']

# 特征缩放
scaler = StandardScaler()
cont_features = ['Length','Diameter','Height','Whole weight','Shucked weight','Viscera weight','Shell weight','Volume_approx']
df[cont_features] = scaler.fit_transform(df[cont_features])

# 划分数据集
X = df.drop('Rings', axis=1)
y = df['Rings']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = XGBRegressor(n_estimators=100, max_depth=5, learning_rate=0.1)
model.fit(X_train, y_train)

# 评估
pred = model.predict(X_test)
print(f"MSE: {mean_squared_error(y_test, pred):.2f}")

好的预测结果应满足：

测试集 MSE < 5.0（相当于平均误差约 2.2 个环）
特征重要性排名前三位通常包含 Shell weight、Diameter 和 Height
残差图应呈现随机分布，无明显模式

不要在预处理时对整个数据集做缩放，应先拆分再分别处理训练 / 测试集：

# 错误做法
df[features] = scaler.fit_transform(df[features])  # 泄露了测试集信息

# 正确做法
scaler.fit(X_train[features])
X_train[features] = scaler.transform(X_train[features])
X_test[features] = scaler.transform(X_test[features])

鲍鱼性别分布可能不均（本数据集 I 类较少），可考虑：