智能Agent意图识别实战：从规则引擎到深度学习的技术演进

1次阅读

没有评论

共计 1369 个字符，预计需要花费 4 分钟才能阅读完成。

在对话系统中，用户常常不会按照预设的模板说话。比如同样想查天气，有人问 ” 明天会下雨吗 ”，也有人直接说 ” 要不要带伞 ”。这种表达差异导致三大典型问题：

意图模糊 ：短文本缺乏上下文线索（如 ” 打开 ” 可能指开灯、开窗或开应用）
多义词歧义 ：像 ” 苹果 ” 既可能是水果也可能是手机品牌
长尾覆盖不足 ：冷门意图训练样本少（比如 ” 帮我给盆栽浇水 ” 这类小众请求）

这些情况轻则导致答非所问，重则让用户直接流失。我们曾有个客服机器人，因为把 ” 账号被锁 ” 误判为 ” 修改密码 ”，导致投诉率上升 37%。

优点：零训练成本，毫秒级响应
缺点：维护成本高，准确率通常 <60%
适用场景 ：固定句式（如 ” 重置密码 ”）

优点：训练快，小样本可用
缺点：无法处理词序（” 不喜欢 ” 和 ” 欢喜不 ” 会被等同看待）
典型准确率 ：70%~75%

优点：对高维特征适应好
缺点：依赖人工特征工程
实测数据 ：加入 n -gram 后准确率可达 82%

优点：自动捕捉上下文，我们的测试集上达到 94%
缺点：需要 GPU 资源，预测耗时约 150ms
选择建议 ：当准确率要求 >90% 时必选

清洗特殊字符 ：
保留有意义符号（如 ”?” 可能体现疑问意图）
移除乱码和非常规 Unicode

def clean_text(text):
    # 保留中英文、数字和常见标点
    pattern = r'[^\u4e00-\u9fa5a-zA-Z0-9.,!?]'
    return re.sub(pattern, '', text)

停用词处理 ：
不要无差别去除（比如 ” 不 ” 是情感关键）
建议使用领域定制列表

采用两级分类架构：
– 一级意图：大方向（如 ” 购物 ”）
– 二级意图：具体动作（如 ” 比价 ”、” 退货 ”）

常见错误 ：把相似意图合并（如 ” 订机票 ” 和 ” 订酒店 ” 应该分开）

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-chinese',
    num_labels=len(label_map)  # 类别数
)

# 学习率设置
optimizer = AdamW(model.parameters(), 
                 lr=2e-5,  # 太小收敛慢，太大易震荡
                 eps=1e-8)

# 早停策略
early_stop = EarlyStopping(
    monitor='val_f1', 
    patience=3,
    mode='max'  # 关注 F1 提升
)

当模型最高概率 <0.6 时：
1. 触发澄清话术（” 您是想问 X 还是 Y？”）
2. 记录日志供后续模型迭代