自然语言处理入门实践：从零构建你的第一个文本分类模型

1次阅读

没有评论

共计 2723 个字符，预计需要花费 7 分钟才能阅读完成。

对于刚接触自然语言处理（NLP）的新手来说，文本分类任务往往会遇到以下几个常见问题：

数据清洗复杂 ：原始文本常包含 HTML 标签、特殊符号、错别字等噪声，手动处理效率低下
特征工程门槛高 ：从 TF-IDF 到词嵌入，不同方法的效果差异大且调参经验要求高
模型选择困难 ：传统机器学习模型轻量但效果有限，深度学习模型强大却需要 GPU 资源

在开始动手前，我们需要对不同技术方案进行权衡：

传统方法（TF-IDF + SVM/RandomForest）
优点：训练速度快，CPU 即可运行
缺点：无法捕捉上下文语义，准确率上限较低
预训练模型（BERT/DistilBERT）
优点：开箱即用的强大语义理解能力
缺点：需要 GPU 支持，微调过程较复杂

建议初学者从轻量级预训练模型如 DistilBERT 入手，它在保持 90% 以上 BERT 性能的同时，体积缩小 40%。

首先安装必要库并加载 IMDB 数据集：

!pip install transformers datasets
from datasets import load_dataset

# 加载 IMDB 电影评论数据集
imdb = load_dataset('imdb')
print(imdb['train'][0])  # 查看第一条数据

创建包含以下步骤的处理管道：

import re
from transformers import AutoTokenizer

def clean_text(text):
    # 移除 HTML 标签
    text = re.sub(r'<[^>]+>', '', text) 
    # 保留字母、数字和基本标点
    return re.sub(r'[^\w\s.,!?]', '', text)

# 初始化分词器
tokenizer = AutoTokenizer.from_pretrained('distilbert-base-uncased')

# 处理示例
example = "This movie is <b>awesome</b>!!!"
print(clean_text(example))  # 输出: This movie is awesome!!!

完整训练脚本如下：

from transformers import Trainer, TrainingArguments
import numpy as np
from sklearn.metrics import accuracy_score

# 定义评估函数
def compute_metrics(pred):
    labels = pred.label_ids
    preds = np.argmax(pred.predictions, axis=1)
    return {'accuracy': accuracy_score(labels, preds)}

# 训练参数设置
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=16,
    warmup_steps=500,  # 学习率预热
    fp16=True,  # 混合精度训练
    gradient_accumulation_steps=2,  # 梯度累积
    evaluation_strategy='epoch'
)

# 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_imdb['train'],
    eval_dataset=tokenized_imdb['test'],
    compute_metrics=compute_metrics
)

# 开始训练
trainer.train()

通过实验得出不同 batch_size 下的显存占用（基于 NVIDIA T4 显卡）：

batch_size	显存占用 (GB)
8	3.2
16	5.1
32	8.7

启用 FP16 混合精度训练后，速度提升约 40%：

training_args = TrainingArguments(
    fp16=True,  # 关键设置
    ...
)

务必确保验证集 / 测试集不参与任何预处理步骤的参数计算（如 TF-IDF 的 idf 值），建议先拆分数据集：

# 错误做法：先整体计算 TF-IDF 再拆分
# 正确做法：from sklearn.model_selection import train_test_split

X_train, X_test = train_test_split(texts, test_size=0.2)
vectorizer.fit(X_train)  # 仅用训练集拟合

对于非平衡数据集（如 1:9 的正负样本比），可采用 Focal Loss：

from torch import nn
import torch

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = nn.BCEWithLogitsLoss(reduction='none')(inputs, targets)
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

使用 FastAPI 创建推理服务：

from fastapi import FastAPI
import torch

app = FastAPI()

@app.post("/predict")
async def predict(text: str):
    inputs = tokenizer(text, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs)
    return {"sentiment": "positive" if outputs.logits[0][0] > 0 else "negative"}

通过以下策略减少标注成本：