自然语言处理入门实践：从零构建一个情感分析模型

1次阅读

没有评论

共计 1789 个字符，预计需要花费 5 分钟才能阅读完成。

刚接触自然语言处理 (NLP) 的开发者经常会遇到以下几个典型问题：

数据清洗复杂：文本数据中常包含 HTML 标签、特殊符号、表情符号等噪声，处理起来费时费力。
特征工程选择困难：在 TF-IDF 和词向量之间难以抉择，不清楚哪种方法更适合当前任务。
模型选择困惑 ：传统机器学习模型(如 SVM) 和深度学习模型 (如 LSTM、BERT) 各有优势，新手往往不知道如何选择。

HuggingFace Transformers 库是目前最流行的 NLP 工具库之一，我们可以用它来微调预训练的 BERT 模型：

安装必要库
```
pip install transformers torch
```

加载预训练模型

from transformers import BertTokenizer, BertForSequenceClassification

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=2)

对于资源受限的场景，可以考虑以下轻量级方案：

SnowNLP：适合中文文本处理，内置情感分析功能
TextBlob：英文处理效果较好，API 简单易用

import re
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

# 清洗文本
def clean_text(text):
    text = re.sub(r'<[^>]+>', '', text)  # 去除 HTML 标签
    text = re.sub(r'[^\w\s]', '', text)  # 去除标点符号
    return text

# 分词处理
def tokenize(text):
    return ' '.join(jieba.cut(text))

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=16,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=10,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

trainer.train()

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class TextInput(BaseModel):
    text: str

@app.post("/predict")
def predict(input: TextInput):
    inputs = tokenizer(input.text, return_tensors="pt")
    outputs = model(**inputs)
    return {"sentiment": "positive" if outputs.logits[0][0] > 0 else "negative"}