逻辑回归问题实战：基于Matlab的仿真实现与性能优化

1次阅读

没有评论

共计 1985 个字符，预计需要花费 5 分钟才能阅读完成。

逻辑回归是一种经典的分类算法，广泛应用于金融风控、医疗诊断等领域。其核心是通过 Sigmoid 函数将线性回归结果映射到 [0,1] 区间，实现概率预测。但在实际应用中常遇到以下问题：

数据不平衡：正负样本比例悬殊导致模型偏向多数类
过拟合：高维数据下模型复杂度过高
收敛速度慢：传统梯度下降法迭代效率低

Matlab 在矩阵运算和算法原型开发上具有独特优势：

内置优化 ：fminunc 等函数自动选择牛顿法 / 拟牛顿法
可视化支持：ROC 曲线、混淆矩阵一键生成
工程集成：Simulink 联合仿真能力

对比 Python 的 scikit-learn：

特性	Matlab	Python(scikit-learn)
开发效率	★★★★☆	★★★☆☆
算法选择	内置优化算法有限	提供更多优化选项
部署便利性	需 Runtime 环境	可直接打包成服务

% 加载威斯康星乳腺癌数据集
load('breast_cancer.mat');
X = features; y = labels;

% 标准化处理（关键步骤！）X = (X - mean(X)) ./ std(X);

% 添加偏置项
X = [ones(size(X,1),1), X];

% 定义损失函数
function [J, grad] = costFunction(theta, X, y)
    m = length(y);
    h = sigmoid(X * theta);
    J = (-1/m) * sum(y.*log(h) + (1-y).*log(1-h));
    grad = (1/m) * X' * (h - y);
end

% 调用优化器（自动选择算法）options = optimoptions('fminunc','GradObj','on','MaxIter',400);
[theta, cost] = fminunc(@(t)costFunction(t,X,y), zeros(size(X,2),1), options);

% 预测概率
prob = sigmoid(X * theta);

% 绘制 ROC 曲线
[fpr, tpr, ~, auc] = perfcurve(y, prob, 1);
plot(fpr,tpr); xlabel('False Positive Rate'); ylabel('True Positive Rate');

方法	迭代次数	收敛速度	内存消耗
梯度下降	1500	慢	低
牛顿法	15	快	高
L-BFGS	30	中等	中等

推荐设置：

options = optimoptions('fminunc',...
    'Algorithm','trust-region',...
    'HessianFcn','objective',...
    'SpecifyObjectiveGradient',true);

% 启用并行池
if isempty(gcp('nocreate'))
    parpool('local',4);
end

% 交叉验证并行化
cvOptions = statset('UseParallel',true);
cvModel = crossval('mcr',X,y,'Predfun',@predfun,'Options',cvOptions);

NaN 值问题
原因：未标准化导致数值溢出
修复：添加 X = normalize(X,'range');
收敛失败
检查学习率：options = optimoptions('fminunc','LearnRate',0.01);
尝试初始化：theta = X\y; 伪逆解作为初始值
过拟合处理

添加 L2 正则化：

lambda = 0.1;
J = J + (lambda/(2*m)) * sum(theta(2:end).^2);
grad(2:end) = grad(2:end) + (lambda/m)*theta(2:end);

多分类逻辑回归

% 使用 one-vs-all 策略
models = cell(num_classes,1);
for c = 1:num_classes
    y_binary = (y == c);
    models{c} = trainLogisticRegression(X, y_binary);
end