BERT预训练模型在意图识别中的实践指南：从零搭建到性能优化

1次阅读

共计 2650 个字符，预计需要花费 7 分钟才能阅读完成。

意图识别是对话系统的核心组件，传统方法主要依赖以下两种方案：

规则匹配 ：通过关键词、正则表达式硬编码业务逻辑
优点：实现简单，规则明确
缺点：维护成本高，难以覆盖语义变体（如 ” 我想订机票 ” 和 ” 有没有去北京的航班 ”）
浅层机器学习模型 ：如 SVM、随机森林
优点：比规则系统更灵活
缺点：依赖人工特征工程，难以捕捉上下文语义（如 ” 帮我取消刚才的订单 ” 中的指代关系）

模型	参数量	训练速度	意图识别效果	适用场景
BERT-base	110M	中等	★★★★☆	通用领域
ALBERT	12M	快	★★★☆☆	资源受限环境
RoBERTa	125M	慢	★★★★★	对精度要求极高场景

选型建议 ：
– 新手推荐使用 BERT-base 中文版（bert-base-chinese）
– 若需轻量级方案可尝试 ALBERT
– 工业级系统建议 RoBERTa+ 领域微调

标注规范示例 ：

{
  "text": "查询上海明天天气",
  "intent": "weather_query",
  "slots": {"city": "上海", "date": "明天"}
}

清洗策略 ：
1. 统一全半角符号（如？→?）
2. 过滤无意义字符（特殊符号、乱码等）
3. 处理缩写（如 ” 沪 ”→” 上海 ”）

使用 HuggingFace Transformers 的典型流程：

from transformers import BertTokenizer, BertForSequenceClassification

# 加载预训练模型
model = BertForSequenceClassification.from_pretrained(
    'bert-base-chinese', 
    num_labels=len(intent_list))

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 微调训练代码示例（简化版）for epoch in range(3):
    model.train()
    for batch in train_loader:
        inputs = tokenizer(batch['text'], padding=True, return_tensors="pt")
        outputs = model(**inputs, labels=batch['label'])
        loss = outputs.loss
        loss.backward()
        optimizer.step()

Focal Loss 实现 ：

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

# 数据预处理
class IntentDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len=128):
        self.texts = texts
        self.labels = labels
        self.tokenizer = tokenizer
        self.max_len = max_len

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        encoding = self.tokenizer(
            text,
            max_length=self.max_len,
            padding='max_length',
            truncation=True,
            return_tensors='pt'
        )
        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'label': torch.tensor(self.labels[idx], dtype=torch.long)
        }

# 评估函数
def compute_metrics(pred):
    labels = pred.label_ids
    preds = pred.predictions.argmax(-1)
    precision, recall, f1, _ = precision_recall_fscore_support(labels, preds, average='weighted')
    return {'accuracy': accuracy_score(labels, preds),
            'f1': f1}

from transformers import convert_graph_to_onnx
convert_graph_to_onnx.convert(
    framework="pt",
    model=model,
    output_path="model.onnx",
    opset=12
)

添加领域术语到 tokenizer 词汇表
对未登录词采用字形相似度匹配

建议通过验证集确定：

# 计算最优阈值
from sklearn.metrics import precision_recall_curve
precision, recall, thresholds = precision_recall_curve(y_true, y_score)
best_threshold = thresholds[np.argmax(precision >= 0.9)]