深入解析 boosting 的损失函数：从理论到实践的新手指南

1次阅读

共计 1468 个字符，预计需要花费 4 分钟才能阅读完成。

Boosting 是一种将多个弱学习器组合成强学习器的集成方法，其核心思想是 迭代修正错误。每一轮训练会调整样本权重，使后续模型更关注之前预测错误的样本。损失函数在此过程中扮演两个关键角色：

量化预测误差：衡量当前模型预测结果与真实值的差异程度
指导参数优化：通过梯度下降等算法调整模型参数以最小化损失

数学表达式：

L(y, ŷ) = 1/2(y - ŷ)²

适用场景：
– 回归问题
– 数据噪声服从高斯分布时效果最佳

优缺点：
– 优点：计算简单，处处可导
– 缺点：对异常值敏感

数学表达式：

L(y, ŷ) = exp(-yŷ)

适用场景：
– 二分类问题（y∈{-1,1}）
– AdaBoost 的默认损失函数

优缺点：
– 优点：对误分类样本惩罚呈指数增长
– 缺点：对噪声数据非常敏感

数学表达式：

L(y, ŷ) = log(1 + exp(-yŷ))

适用场景：
– 概率估计任务
– 输出需要概率解释时

优缺点：
– 优点：提供概率输出，对异常值鲁棒
– 缺点：计算量稍大

import xgboost as xgb
from sklearn.datasets import make_regression

# 生成回归数据集
X, y = make_regression(n_samples=1000, n_features=10)

# 定义模型与平方损失
model = xgb.XGBRegressor(
    objective='reg:squarederror',  # 平方损失
    n_estimators=100,
    learning_rate=0.1
)

# 训练与评估
model.fit(X, y)
print("训练完成，MSE:", model.score(X, y))

from sklearn.datasets import make_classification

# 生成分类数据集
X, y = make_classification(n_samples=1000, n_classes=2)

# 定义模型与对数损失
model = xgb.XGBClassifier(
    objective='binary:logistic',  # 对数损失
    eval_metric='logloss',
    n_estimators=100
)

# 训练与评估
model.fit(X, y)
print("训练完成，LogLoss:", model.score(X, y))