自然语言处理入门实践：从零构建一个文本情感分析模型

1次阅读

没有评论

共计 2342 个字符，预计需要花费 6 分钟才能阅读完成。

文本情感分析是自然语言处理（NLP）中最常见的任务之一，但对于初学者来说，往往会遇到一些核心挑战。

数据稀疏性：当处理大规模文本数据时，传统方法（如词袋模型）会导致特征维度爆炸，许多词语在训练集中出现次数极少，影响模型泛化能力。
词义歧义：同一个词在不同语境下可能有完全不同的情感倾向（例如“冷”在“冷饮”和“冷漠”中的差异）。
标注成本高：高质量的情感标注数据需要人工参与，而标注一致性难以保证。

在开始构建模型前，需要根据实际场景选择合适的技术方案。以下是两种主流方法的对比：

TF-IDF + 传统机器学习（如 SVM）
优点：计算速度快，硬件要求低（可在普通笔记本上运行），适合小规模数据。
缺点：无法捕捉上下文语义，准确率通常较低（尤其在复杂语境中）。
适用场景：对实时性要求高、硬件资源有限的场景（如客服系统初始版本）。
BERT 等预训练模型
优点：上下文感知能力强，在多项 NLP 任务中达到 SOTA（State of the Art）性能。
缺点：推理延迟高（需 GPU 加速），训练和部署成本较大。
适用场景：对准确率要求严格的场景（如金融舆情监控），且具备 GPU 服务器资源。

使用 NLTK 库进行文本清洗，关键步骤包括：

特殊符号处理：移除 URL、HTML 标签等噪声。
停用词过滤（Stopwords Removal）：剔除“的”、“是”等无情感色彩的常用词。
词干提取（Stemming）：将不同形态的词语归一化（如“running”转为“run”）。

import re
from nltk.corpus import stopwords
from nltk.stem import SnowballStemmer

def clean_text(text):
    # 移除特殊符号
    text = re.sub(r'http\S+|\<[^>]+\>', '', text)
    # 停用词过滤
    stop_words = set(stopwords.words('english'))
    words = [word for word in text.split() if word.lower() not in stop_words]
    # 词干提取
    stemmer = SnowballStemmer('english')
    words = [stemmer.stem(word) for word in words]
    return ' '.join(words)

Scikit-learn 的 Pipeline 可以将多个处理步骤封装为单个可训练的单元：

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC

# 定义 Pipeline
pipeline = Pipeline([('tfidf', TfidfVectorizer(max_features=5000)),  # 限制特征数量
    ('clf', SVC(C=1.0, kernel='linear'))  # SVM 分类器
])

# 训练模型
pipeline.fit(X_train, y_train)

关键参数说明：

max_features=5000：限制 TF-IDF 向量的最大维度，避免内存溢出。
C=1.0：SVM 的正则化参数，值越小表示更强的正则化（防止过拟合）。

当标注数据不足时，可通过以下方法生成合成数据：

回译（Back Translation）：将文本翻译成另一种语言再译回原文，生成语义不变但表述不同的样本。
同义词替换：使用 WordNet 或预训练词向量替换部分词语。

对于未登录词（Out-of-Vocabulary），可采取：

使用字符级 n -gram 补充词级特征。
引入预训练词向量（如 GloVe）的未知词随机初始化策略。

在多线程环境下部署模型时，需注意：

将模型加载为全局变量，避免每次请求重复加载。
使用 app.run(threaded=True) 启用多线程模式。

标签不平衡问题
避免仅依赖准确率（Accuracy），推荐使用 F1-score 或 AUC-ROC。
采用过采样（如 SMOTE）或调整类别权重（class_weight=’balanced’）。
中文分词差异
英文可直接按空格分词，中文需使用专用工具（如 Jieba）。
中文停用词列表需自定义（如“的”、“了”）。

HuggingFace Transformer 微调
使用 transformers 库加载预训练 BERT，仅需少量数据微调最后一层。

示例代码：

from transformers import BertTokenizer, BertForSequenceClassification
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)