基于BERT模型的社交媒体情感分析实战：从数据预处理到多分类情感识别

1次阅读

共计 2700 个字符，预计需要花费 7 分钟才能阅读完成。

社交媒体数据的情感分析一直是个棘手的问题，尤其是像微博、Twitter 这样的短文本平台。传统方法在这里频频碰壁，主要原因有：

短文本噪声多：140 字的限制让表达高度浓缩，大量使用缩写、网络用语和表情符号
语义复杂性高：” 这个操作太 6 了 ” 可能是褒义，但 ” 这个 6 得我头皮发麻 ” 可能就是反讽
多语言混合：中英文混杂的情况非常普遍（如 ” 今天 get 了新技能 ”）
领域特异性强：娱乐新闻和科技报道的情感表达方式截然不同

我们对比了三种主流模型在微博情感分析任务上的表现（测试集包含 10 万条标注数据）：

模型	准确率	F1-score	推理速度(条 / 秒)
LSTM	78.2%	0.761	1200
TextCNN	81.5%	0.793	1500
BERT-base	89.7%	0.882	300

虽然 BERT 推理速度较慢，但其上下文理解能力对处理网络用语和反讽表达有明显优势。

常规的文本清洗流程需要针对社交媒体做强化：

表情符号处理 ：将[笑哭] 等表情符号转换为文本描述（建议使用 emoji 库）
话题标签分离：”# 今日心情 #很好 ” → “ 今日心情很好 ”
URL 和 @处理：保留 @用户名的上下文关系但移除具体 ID
繁体转简体：使用 opencc 工具统一文本编码

使用 HuggingFace Transformers 加载中文预训练模型：

from transformers import BertTokenizer, BertForSequenceClassification

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-chinese',
    num_labels=5,  # 假设是 5 分类任务
    output_attentions=False,
    output_hidden_states=False
)

关键参数说明：
– num_labels：对应情感类别数（正面 / 负面 / 中性等）
– attention_window_size：建议设为 64 以适应短文本特性

针对社交媒体数据的微调技巧：

分层学习率：
底层参数：1e-5
顶层分类器：1e-4
动态掩码：每次 epoch 重新生成 attention mask
梯度裁剪：设置 max_grad_norm=1.0 防止梯度爆炸

class WeiboDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len=128):
        self.tokenizer = tokenizer
        self.texts = texts
        self.labels = labels
        self.max_len = max_len

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        label = self.labels[idx]

        encoding = self.tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=self.max_len,
            truncation=True,
            padding='max_length',
            return_attention_mask=True,
            return_tensors='pt'
        )

        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'labels': torch.tensor(label, dtype=torch.long)
        }

使用 Focal Loss 替代常规 CrossEntropyLoss：

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super(FocalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

使用动态量化将模型大小减少 40%：

model = torch.quantization.quantize_dynamic(
    model,
    {torch.nn.Linear},
    dtype=torch.qint8
)

转换模型为 ONNX 格式：

torch.onnx.export(
    model,                       
    dummy_input,                 
    "bert_weibo.onnx",           
    export_params=True,          
    opset_version=11,            
    do_constant_folding=True,    
    input_names=['input_ids', 'attention_mask'],
    output_names=['output']
)