基于BERT预训练模型的影评情感分析实战：从数据清洗到模型部署

1次阅读

共计 2493 个字符，预计需要花费 7 分钟才能阅读完成。

传统的情感分析方法如 TF-IDF+SVM 在影评场景下存在明显不足。影评文本通常包含反讽、双重否定等复杂语义，例如 ” 这部电影烂得让我想再看一遍 ”，表面负面实则表达喜爱。传统方法依赖人工特征工程，难以捕捉这种深层语义关联。此外，当遇到网络新词或领域特定表达时，词袋模型的表现会大幅下降。

对比主流预训练模型在中文情感分析任务上的表现：

BERT-base-chinese：通用中文预训练模型，对常见表达捕捉较好
ALBERT：参数共享减少模型体积，但准确率略有下降
RoBERTa：动态 mask 机制增强，但中文社区支持较弱

选择 BERT-base-chinese 的原因：

中文影视领域语料覆盖全面
HuggingFace 生态支持完善
768 维隐藏层在精度和速度间取得平衡

!pip install transformers==4.18.0 torch==1.11.0

关键点在于构建适配 BERT 的 Dataset：

使用 BERT Tokenizer 处理中文时的注意事项：
不需要提前分词
自动处理 [CLS]/[SEP] 等特殊 token

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

class MovieReviewDataset(Dataset):
    def __init__(self, texts, labels, max_len=128):
        self.texts = texts
        self.labels = labels
        self.max_len = max_len

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        label = self.labels[idx]

        encoding = tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=self.max_len,
            truncation=True,
            padding='max_length',
            return_attention_mask=True,
            return_tensors='pt'
        )

        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'labels': torch.tensor(label, dtype=torch.long)
        }

动态 Padding 实现：

from transformers import DataCollatorWithPadding
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

Learning Rate Warmup 配置：

from transformers import get_linear_schedule_with_warmup

num_epochs = 3
total_steps = len(train_loader) * num_epochs
warmup_steps = int(0.1 * total_steps)

scheduler = get_linear_schedule_with_warmup(
    optimizer,
    num_warmup_steps=warmup_steps,
    num_training_steps=total_steps
)

from transformers import BertForSequenceClassification
import onnxruntime as ort

# 转换为 ONNX 格式
model = BertForSequenceClassification.from_pretrained('./saved_model')
torch.onnx.export(
    model,               
    (dummy_input,),      
    "model.onnx",        
    opset_version=11,    
    input_names=['input_ids', 'attention_mask'],
    output_names=['output'],
    dynamic_axes={'input_ids': {0: 'batch_size'},
        'attention_mask': {0: 'batch_size'},
        'output': {0: 'batch_size'}
    }
)

# 量化
!python -m onnxruntime.tools.convert_onnx_models_to_ort "model.onnx"

性能对比：

模型类型	大小(MB)	推理延迟(ms)
原模型	417	120
量化版	167	65

梯度累积技巧：

accumulation_steps = 4

for epoch in range(epochs):
    for i, batch in enumerate(train_loader):
        outputs = model(**batch)
        loss = outputs.loss
        loss = loss / accumulation_steps
        loss.backward()

        if (i+1) % accumulation_steps == 0:
            optimizer.step()
            optimizer.zero_grad()

常见问题：用户自行分词后再输入 BERT，导致 subword 匹配异常
正确做法：直接输入原始文本，由 Tokenizer 统一处理

如何提升模型对网络新词的识别能力？可以考虑：