BERT模型训练实战：如何在没有人工标注数据的情况下构建高质量NLP模型

1次阅读

共计 4168 个字符，预计需要花费 11 分钟才能阅读完成。

在自然语言处理（NLP）领域，获取高质量的标注数据一直是一个巨大的挑战。标注数据不仅需要大量的人力物力投入，还需要领域专家的参与，这使得许多项目在数据准备阶段就陷入了困境。特别是对于 BERT 这样的大型预训练模型，传统的监督学习方法对标注数据的依赖更加严重。

然而，现实中的大多数应用场景并不具备充足的标注数据资源。面对这一行业痛点，研究者们开发了一系列无监督和半监督学习技术，使得 BERT 模型能够在少量甚至没有人工标注数据的情况下，依然能够取得优异的性能表现。

BERT（Bidirectional Encoder Representations from Transformers）模型本身就是通过无监督预训练获得的。其核心训练目标包括：

Masked Language Modeling (MLM)：随机遮盖输入文本中的部分词汇，让模型预测被遮盖的词汇
Next Sentence Prediction (NSP)：判断两个句子是否是连续的

在缺乏标注数据的情况下，我们可以充分利用这些无监督目标来继续训练 BERT 模型，使其更好地适应特定领域。

领域适应（Domain Adaptation）是指将预训练模型迁移到特定领域的过程。以下是关键步骤：

收集目标领域的大量无标注文本数据
在这些数据上继续执行 MLM 和 NSP 任务
使用动态掩码策略（Dynamic Masking）提高训练效率

以下是 PyTorch 实现的代码片段：

from transformers import BertForMaskedLM, BertTokenizer
import torch

# 加载预训练模型和分词器
model = BertForMaskedLM.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 准备领域文本数据
domain_texts = [...] # 目标领域文本列表

# 动态掩码函数
def dynamic_masking(text):
    inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)
    # 随机选择 15% 的 token 进行掩码
    mask_indices = torch.randperm(inputs['input_ids'].size(1))[:int(0.15*inputs['input_ids'].size(1))]
    inputs['input_ids'][0, mask_indices] = tokenizer.mask_token_id
    return inputs

# 训练循环
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)
for epoch in range(3):
    for text in domain_texts:
        inputs = dynamic_masking(text)
        outputs = model(**inputs, labels=inputs['input_ids'])
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征提取方法，可以用于生成语义相似的句子。

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

def tfidf_augmentation(text, n_aug=3):
    # 假设 corpus 是领域相关的文本集合
    vectorizer = TfidfVectorizer()
    X = vectorizer.fit_transform(corpus)

    # 计算输入文本的 TF-IDF 向量
    text_vec = vectorizer.transform([text])

    # 在语料库中寻找最相似的句子
    similarities = np.dot(X, text_vec.T).toarray().flatten()
    similar_indices = similarities.argsort()[-n_aug:][::-1]

    return [corpus[i] for i in similar_indices]

回译（Back Translation）通过将文本翻译到中间语言再翻译回来，生成语义相同但表达不同的句子。

from transformers import MarianMTModel, MarianTokenizer

# 初始化翻译模型
en2fr_model = MarianMTModel.from_pretrained('Helsinki-NLP/opus-mt-en-fr')
en2fr_tokenizer = MarianTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-fr')

fr2en_model = MarianMTModel.from_pretrained('Helsinki-NLP/opus-mt-fr-en')
fr2en_tokenizer = MarianTokenizer.from_pretrained('Helsinki-NLP/opus-mt-fr-en')

def back_translate(text):
    # 英文 -> 法文
    inputs = en2fr_tokenizer(text, return_tensors='pt', truncation=True)
    fr_outputs = en2fr_model.generate(**inputs)
    fr_text = en2fr_tokenizer.decode(fr_outputs[0], skip_special_tokens=True)

    # 法文 -> 英文
    inputs = fr2en_tokenizer(fr_text, return_tensors='pt', truncation=True)
    en_outputs = fr2en_model.generate(**inputs)
    return fr2en_tokenizer.decode(en_outputs[0], skip_special_tokens=True)

自训练（Self-training）是一种典型的半监督学习方法，其基本流程如下：

使用少量标注数据训练初始模型
用该模型预测未标注数据的伪标签（Pseudo-labels）
选择高置信度的预测结果加入训练集
用扩增后的训练集重新训练模型
重复步骤 2 - 4 直到性能不再提升

以下是自训练的 PyTorch 实现框架：

# 假设我们有少量标注数据 (labeled_data) 和大量未标注数据(unlabeled_data)

# 初始模型训练
model = train_model(labeled_data)

for iteration in range(5):
    # 预测未标注数据
    pseudo_labels = []
    confidences = []

    for batch in unlabeled_data:
        with torch.no_grad():
            outputs = model(batch)
            probs = torch.softmax(outputs.logits, dim=-1)
            max_probs, preds = torch.max(probs, dim=-1)
            pseudo_labels.extend(preds.cpu().numpy())
            confidences.extend(max_probs.cpu().numpy())

    # 选择高置信度样本
    threshold = np.percentile(confidences, 75) # 取置信度前 25%
    selected_indices = np.where(confidences > threshold)[0]

    # 扩增训练集
    new_labeled_data = [(unlabeled_data[i], pseudo_labels[i]) 
                        for i in selected_indices]
    labeled_data.extend(new_labeled_data)

    # 重新训练模型
    model = train_model(labeled_data)

我们对比了几种主要技术在相同计算资源下的性能表现：