BERT情感分析微调实战：从数据准备到模型部署的完整指南

1次阅读

共计 2956 个字符，预计需要花费 8 分钟才能阅读完成。

情感分析是自然语言处理（NLP）中的一个重要任务，旨在识别文本中表达的情感倾向，如正面、负面或中性。BERT（Bidirectional Encoder Representations from Transformers）作为目前最先进的预训练语言模型之一，在情感分析任务中表现出色。

BERT 的优势主要体现在以下几个方面：

双向上下文理解：BERT 通过 Transformer 架构能够同时考虑文本中每个词的左右上下文，从而更好地理解语言语义。
预训练 + 微调范式：BERT 在大规模无标注文本上进行预训练，学习通用的语言表示，然后在特定任务上进行微调，显著提升性能。
多语言支持：BERT 提供了多语言版本，可直接用于中文情感分析任务。

数据是模型训练的基础，良好的数据预处理能够显著提升模型性能。以下是数据收集与预处理的关键步骤：

数据收集：可以选择公开的中文情感分析数据集，如 ChnSentiCorp、NLPCC 情感分析数据集等。
数据清洗：
去除无关字符（如特殊符号、HTML 标签等）。
统一文本格式（如全角转半角、繁体转简体）。
处理缺失值或异常值。
数据标注：确保标注一致性，可采用多标注者标注并计算一致性分数（如 Kappa 系数）来验证标注质量。
数据划分：将数据集划分为训练集、验证集和测试集，比例通常为 7:1:2。

微调 BERT 模型的核心在于调整预训练模型的参数以适应特定任务。以下是关键步骤：

学习率设置：由于 BERT 的参数量较大，学习率不宜过高，通常设置为 2e- 5 到 5e- 5 之间。
损失函数选择：对于二分类任务，可以使用交叉熵损失函数（nn.CrossEntropyLoss）。
优化器选择：推荐使用 AdamW 优化器，它能有效避免过拟合。
Batch Size 选择：根据 GPU 显存大小调整，通常设置为 16 或 32。
训练轮次（Epochs）：一般 3 - 5 个 epoch 即可收敛，过多的训练可能导致过拟合。

以下是一个完整的 PyTorch 代码示例，包含数据加载、模型定义和训练循环：

import torch
from transformers import BertTokenizer, BertForSequenceClassification, AdamW
from torch.utils.data import DataLoader, Dataset

# 数据加载
class SentimentDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len=128):
        self.texts = texts
        self.labels = labels
        self.tokenizer = tokenizer
        self.max_len = max_len

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        label = int(self.labels[idx])
        encoding = self.tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=self.max_len,
            return_token_type_ids=False,
            padding='max_length',
            truncation=True,
            return_attention_mask=True,
            return_tensors='pt'
        )
        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'label': torch.tensor(label, dtype=torch.long)
        }

# 模型定义
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=2)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 训练循环
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model.to(device)

optimizer = AdamW(model.parameters(), lr=2e-5)
criterion = torch.nn.CrossEntropyLoss()

def train_epoch(model, data_loader, optimizer, device):
    model.train()
    total_loss = 0
    for batch in data_loader:
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['label'].to(device)

        optimizer.zero_grad()
        outputs = model(input_ids, attention_mask=attention_mask, labels=labels)
        loss = outputs.loss
        total_loss += loss.item()
        loss.backward()
        optimizer.step()
    return total_loss / len(data_loader)

# 训练
for epoch in range(3):
    train_loss = train_epoch(model, train_loader, optimizer, device)
    print(f'Epoch {epoch + 1}, Loss: {train_loss:.4f}')

为了进一步提升训练效率和模型性能，可以采用以下优化技巧：