BERT微调数据集构建实战：从数据清洗到模型优化的全流程指南

1次阅读

共计 2822 个字符，预计需要花费 8 分钟才能阅读完成。

在 BERT 模型微调过程中，数据集的质量直接影响最终效果。常见问题包括：

领域偏移 ：预训练数据与下游任务领域差异大，导致模型无法有效迁移知识
标注不一致 ：同一类别在不同标注者手中可能有不同标签，影响模型学习
数据稀疏 ：特定类别样本过少，模型难以学习有效特征

这些问题会导致模型表现不佳，甚至出现严重的过拟合现象。

文本清洗是构建高质量数据集的第一步。以下是 Python 实现示例：

import re
from nltk.corpus import stopwords

# 加载停用词
stop_words = set(stopwords.words('english'))

def clean_text(text):
    # 移除特殊字符
    text = re.sub(r'[^\w\s]', '', text)
    # 转换为小写
    text = text.lower()
    # 移除停用词
    text = ' '.join([word for word in text.split() if word not in stop_words])
    return text

标签编码需要保持一致性。比较 sklearn 的 LabelEncoder 和自定义规则：

from sklearn.preprocessing import LabelEncoder

# 使用 sklearn LabelEncoder
le = LabelEncoder()
labels = ['positive', 'negative', 'neutral']
encoded = le.fit_transform(labels)  # 输出: array([1, 0, 2])

# 自定义编码规则
label_map = {'positive': 2, 'negative': 0, 'neutral': 1}
custom_encoded = [label_map[label] for label in labels]  # 输出: [2, 0, 1]

自定义编码的优势在于可以控制类别顺序和编号，这对于某些需要特定类别权重的任务很有帮助。

使用 PyTorch 实现同义词替换增强：

import torch
from nltk.corpus import wordnet

def synonym_replacement(text, n=1):
    words = text.split()
    new_words = words.copy()

    for _ in range(n):
        idx = torch.randint(0, len(words), (1,)).item()
        synonyms = []
        for syn in wordnet.synsets(words[idx]):
            for lemma in syn.lemmas():
                synonyms.append(lemma.name())

        if synonyms:
            synonym = torch.randint(0, len(synonyms), (1,)).item()
            new_words[idx] = synonyms[synonym]

    return ' '.join(new_words)

增强后需要检查语义是否保持一致：

from sentence_transformers import SentenceTransformer
import numpy as np

model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

def semantic_similarity(text1, text2):
    emb1 = model.encode(text1)
    emb2 = model.encode(text2)
    return np.dot(emb1, emb2) / (np.linalg.norm(emb1) * np.linalg.norm(emb2))

# 检查相似度是否高于阈值
original = "This product works great"
augmented = synonym_replacement(original)
sim = semantic_similarity(original, augmented)
assert sim > 0.8, "Semantic consistency check failed"

数据集划分时常见的错误是将相似样本分到不同集合：

from sklearn.model_selection import GroupShuffleSplit

# 按文档 ID 分组，防止同一文档的不同段落分到训练集和测试集
gss = GroupShuffleSplit(n_splits=1, test_size=0.2)
for train_idx, test_idx in gss.split(texts, labels, groups=doc_ids):
    train_texts = [texts[i] for i in train_idx]
    test_texts = [texts[i] for i in test_idx]

使用过采样和欠采样技术：

from imblearn.over_sampling import RandomOverSampler
from imblearn.under_sampling import RandomUnderSampler

# 过采样少数类
ros = RandomOverSampler()
X_resampled, y_resampled = ros.fit_resample(np.array(train_texts).reshape(-1, 1), train_labels)

# 欠采样多数类
rus = RandomUnderSampler()
X_resampled, y_resampled = rus.fit_resample(np.array(train_texts).reshape(-1, 1), train_labels)

在不同数据量级下进行微调，观察效果变化：

import matplotlib.pyplot as plt

# 假设我们有不同规模的数据集和对应的准确率
sizes = [100, 500, 1000, 5000]
accuracies = [0.65, 0.72, 0.78, 0.85]

plt.plot(sizes, accuracies)
plt.xlabel('Training Set Size')
plt.ylabel('Accuracy')
plt.title('Performance vs. Data Size')
plt.show()

从曲线可以看出，随着数据量增加，模型性能提升，但边际效益递减。在资源有限的情况下，500-1000 样本可能是一个性价比不错的选择。

构建高质量的 BERT 微调数据集需要关注多个环节：从数据清洗到增强，从标签规范到类别平衡。本文提供了一些实用技巧和代码示例，但实践中还有很多可以探索的方向：