基于BERT预训练模型的意图识别实战：从模型微调到生产部署

1次阅读

没有评论

共计 2364 个字符，预计需要花费 6 分钟才能阅读完成。

在构建对话系统时，意图识别是核心模块之一。传统方法如 SVM 和 RNN 在实际应用中存在明显局限：

长尾意图识别效果差：SVM 依赖人工特征工程，难以捕捉罕见意图的语义特征
多语言混合场景适应性弱：RNN 系列模型对跨语言语义关联建模能力不足
上下文理解肤浅：传统方法无法有效利用预训练语言知识

对比主流预训练模型在意图识别任务的表现：

BERT：
优势：双向注意力机制，中等模型尺寸(110M 参数)
适用场景：通用领域意图识别
RoBERTa：
优势：更严格的训练策略，在英文任务表现优异
劣势：中文社区版预训练不充分
ALBERT：
优势：参数共享机制大幅减少内存占用
劣势：微调阶段需要更高学习率

实际测试显示，在 SMP2017 中文数据集上：

模型	F1-score	推理延迟(ms)
BERT-base	89.2	45
RoBERTa	88.7	52
ALBERT	87.9	38

from transformers import BertTokenizer, BertForSequenceClassification

# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-chinese', 
    num_labels=len(intent_list)
)

# 构造分类任务输入
def encode_text(text):
    return tokenizer(
        text,
        padding='max_length',
        max_length=64,
        truncation=True,
        return_tensors='pt'
    )

关键点说明：

[CLS]标记会自动添加到输入开头
建议 max_length 根据业务数据分布设置（覆盖 95% 样本即可）

增量预训练：在领域语料上继续 MLM 任务
对抗训练：添加梯度反转层(GRL)
注意力约束：使用 Layer-wise Attention Loss

# 数据加载部分（带动态 padding）class IntentDataset(Dataset):
    def __init__(self, texts, labels):
        self.texts = texts
        self.labels = labels

    def __getitem__(self, idx):
        encoding = tokenizer(self.texts[idx],
            padding=False,  # 动态 padding
            truncation=True,
            max_length=128
        )
        return {'input_ids': torch.tensor(encoding['input_ids']),
            'attention_mask': torch.tensor(encoding['attention_mask']),
            'labels': torch.tensor(self.labels[idx])
        }

# 梯度累积配置
optimizer = AdamW(model.parameters(), lr=2e-5)
for epoch in range(3):
    for step, batch in enumerate(dataloader):
        outputs = model(**batch)
        loss = outputs.loss
        loss = loss / 4  # 假设累积步数为 4
        loss.backward()

        if (step+1) % 4 == 0:
            optimizer.step()
            optimizer.zero_grad()

# 类别权重采样
from sklearn.utils.class_weight import compute_class_weight

class_weights = compute_class_weight(
    'balanced',
    classes=np.unique(train_labels),
    y=train_labels
)
weights = torch.tensor(class_weights, dtype=torch.float)
loss_fn = torch.nn.CrossEntropyLoss(weight=weights)

python -m transformers.onnx --model=bert_model --feature=sequence-classification onnx_model/

使用 BPE 分词器的 unknown_token 处理未登录词
构建领域词表并扩展原始词表

建议采用动态阈值：

def predict_with_threshold(text, threshold=0.7):
    logits = model(text).logits
    probs = torch.softmax(logits, dim=-1)
    max_prob, pred = torch.max(probs, dim=-1)
    return pred if max_prob > threshold else -1  # - 1 表示拒识