共计 1238 个字符，预计需要花费 4 分钟才能阅读完成。
背景痛点
初学者在 BERT 微调数据集准备过程中常常会遇到以下问题：
- 数据量不足 ：微调 BERT 需要足够的数据来捕捉任务特定的模式，但初学者往往难以获取大规模标注数据。
- 标注不一致 ：不同标注者可能对同一文本有不同的理解，导致标签不一致，影响模型学习。
- 样本不均衡 ：某些类别的样本数量远多于其他类别，导致模型偏向多数类。
- 噪声数据 ：数据中可能包含无关字符、错别字或 HTML 标签等噪声，影响模型性能。
- 数据泄露 ：在划分训练集和测试集时，可能无意中导致数据泄露，使评估结果不真实。
技术方案
数据清洗的 3 个关键步骤
- 去除无关字符 ：使用正则表达式去除 HTML 标签、特殊符号等无关内容。
- 统一编码格式 ：确保所有文本使用统一的编码格式（如 UTF-8），避免乱码问题。
- 处理缺失值 ：对于缺失的文本或标签，可以选择删除或填充，具体取决于任务需求。
标注规范的制定原则
- 明确标注指南 ：为标注者提供详细的标注指南，确保每个标签的定义清晰。
- 多轮校验 ：通过多轮标注和校验，减少标注不一致性。
- 标注工具 ：使用专业的标注工具（如 Label Studio）提高标注效率和一致性。
处理样本不均衡的 2 种实用方法
- 过采样 ：对少数类样本进行复制或生成相似样本，增加其数量。
- 欠采样 ：随机删除多数类样本，减少其数量以平衡数据集。
代码示例
以下是一个完整的 Python 数据预处理代码片段：
import re
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
# 文本清洗函数
def clean_text(text):
# 去除 HTML 标签
text = re.sub(r'<[^>]+>', '', text)
# 去除特殊字符
text = re.sub(r'[^a-zA-Z0-9\s]', '', text)
# 转换为小写
text = text.lower()
return text
# 标签编码
label_encoder = LabelEncoder()
df['label'] = label_encoder.fit_transform(df['label'])
# 数据集划分
train_df, test_df = train_test_split(df, test_size=0.2, random_state=42)避坑指南
- 避免数据泄露 ：确保训练集和测试集完全独立，避免模型在测试集上过拟合。
- 检查标注质量 ：定期抽查标注结果，确保标注一致性和准确性。
- 记录数据来源 ：详细记录数据的来源和处理步骤，便于后续追溯和复现。
性能考量
数据集质量直接影响 BERT 微调的效果。以下是一些建议的评估指标：
- 准确率 ：模型在所有样本上的预测准确率。
- F1 分数 ：尤其适用于不均衡数据集，综合考虑精确率和召回率。
- 混淆矩阵 ：可视化模型在不同类别上的表现，帮助识别问题类别。
结尾思考
- 如何在不增加标注成本的情况下，提高数据集的质量？
- 数据集规模和质量哪个对 BERT 微调的影响更大？为什么？
正文完
