BERT分类任务中逻辑回归的优化实践：从特征提取到模型部署

1次阅读

没有评论

共计 2188 个字符，预计需要花费 6 分钟才能阅读完成。

在文本分类任务中，BERT+ 逻辑回归（LR）的组合常被用于平衡模型效果和推理效率。但直接将 BERT 输出的 768 维特征输入 LR 会面临两个典型问题：

特征冗余：BERT 隐状态各维度间存在高度相关性，直接使用所有特征会增加计算负担
维度灾难：当训练数据量不足时（如少于 10 万条），高维特征容易导致 LR 模型过拟合

我们实测发现，在 IMDb 影评数据集（2.5 万条）上，直接使用 BERT+LR 的测试集 F1 比 BERT 微调低 12%，而推理速度仅快 1.3 倍——这显然没有发挥 LR 的轻量级优势。

通过控制变量实验（Tesla T4 GPU，固定 random_state=42），我们对比了三种方案：

传统 TF-IDF+LR
优点：推理速度最快（单条 0.2ms）
缺点：F1 比 BERT 低 25%，无法处理一词多义
BERT CLS 直接分类
优点：准确率最高（测试集 F1=0.92）
缺点：模型体积大（440MB），推理需 200ms
BERT+PCA+LR（本文方案）
折中方案：F1=0.89，推理速度 15ms
模型体积仅 8MB，适合移动端部署

使用 HuggingFace Transformers 获取 BERT 最后一层的隐状态（注意不是 logits）：

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

def get_features(texts):
    inputs = tokenizer(texts, return_tensors='pt', padding=True, truncation=True, max_length=512)
    with torch.no_grad():
        outputs = model(**inputs)
    # 取最后一层隐状态的平均（也可用 CLS token）return outputs.last_hidden_state.mean(dim=1).numpy()

通过方差贡献率确定合适维度（通常保留 95% 方差）：

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(features)

pca = PCA(n_components=0.95)  # 自动选择保留 95% 方差的维度
X_pca = pca.fit_transform(X_scaled)
print(f"原始维度：{features.shape[1]}，降维后：{X_pca.shape[1]}")

加入 L2 正则化和类别权重处理：

from sklearn.linear_model import LogisticRegression
from sklearn.utils.class_weight import compute_class_weight

# 处理类别不均衡
classes = np.unique(y_train)
weights = compute_class_weight('balanced', classes=classes, y=y_train)
class_weight = dict(zip(classes, weights))

model = LogisticRegression(
    penalty='l2',
    C=0.1,  # 逆正则化强度
    class_weight=class_weight,
    max_iter=500,
    random_state=42
)
model.fit(X_pca, y_train)

在 IMDb 数据集上的测试结果：