从零实现Agent意图识别：基于规则与机器学习的实战指南

1次阅读

共计 2341 个字符，预计需要花费 6 分钟才能阅读完成。

在构建对话系统时，很多开发者最初会使用简单的关键词匹配来实现意图识别。比如用户输入 ” 我想订机票 ”，系统检测到 ” 订 ” 和 ” 机票 ” 就认为是订票意图。这种方法看似简单有效，但实际应用中会遇到很多问题：

歧义问题：” 苹果很好吃 ” 和 ” 苹果手机多少钱 ” 中的 ” 苹果 ” 指代完全不同
句式多变：用户可能说 ” 帮我订张票 ”、” 我要购买机票 ” 或 ” 怎么买飞机票 ”
新意图扩展：每增加一个新意图，都需要人工总结大量关键词模式
上下文缺失：” 取消它 ” 中的 ” 它 ” 指代什么？关键词匹配无法理解上下文

规则引擎
优点：解释性强，开发快速，适合确定性场景
缺点：维护成本高，泛化能力差
工具推荐：正则表达式、AIML
传统机器学习（如 SVM）
优点：比规则系统泛化更好，适合中小规模数据
缺点：需要特征工程，难以处理长尾表达
典型流程：TF-IDF 特征 → 特征选择 → 模型训练
深度学习（如 BERT）
优点：自动特征提取，处理复杂语义效果好
缺点：需要大量数据，计算资源消耗大
适用场景：有充足标注数据且对准确率要求高的场景

SnipsNLU 是一个轻量级的意图识别库，特别适合快速验证场景：

# 安装（注意需要 Python 3.6+）pip install snips-nlu

# 准备训练数据（示例）dataset = {
    "intents": {
        "BookFlight": {
            "utterances": ["我要订机票去{place}",
                "预定飞往 {place} 的航班"
            ]
        }
    },
    "entities": {
        "place": {"data": [{"value": "北京", "synonyms": ["北京", "帝都"]}],
            "use_synonyms": True
        }
    },
    "language": "zh"
}

# 训练模型
from snips_nlu import SnipsNLUEngine
engine = SnipsNLUEngine().fit(dataset)

# 使用示例
text = "我想订去帝都的机票"
parsing = engine.parse(text)
print(parsing["intent"]["intentName"])  # 输出: BookFlight
print(parsing["slots"][0]["value"]["value"])  # 输出: 北京

槽位填充是指从用户语句中提取关键实体信息的过程：

# 自定义实体识别（补充 SnipsNLU 的不足）import re

def extract_phone(text):
    """提取手机号"""
    pattern = r'1[3-9]\d{9}'
    match = re.search(pattern, text)
    return match.group(0) if match else None

# 集成到意图识别流程
def enhanced_parse(text):
    result = engine.parse(text)

    # 补充手机号提取
    phone = extract_phone(text)
    if phone:
        result["slots"].append({
            "entity": "phone",
            "value": {"value": phone}
        })

    return result

将模型封装为 HTTP 接口方便其他系统调用：

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class Request(BaseModel):
    text: str

class Response(BaseModel):
    intent: str
    slots: dict

@app.post("/parse")
async def parse_text(request: Request):
    parsing = enhanced_parse(request.text)
    return Response(intent=parsing["intent"]["intentName"],
        slots={s["entity"]: s["value"]["value"] for s in parsing["slots"]}
    )

同义词替换：” 订机票 ” → “ 购买机票 ”、” 预定航班 ”
句式改写：” 我要 X ” → “ 请帮我 X ”、” 能不能 X ”
添加噪声：随机插入 / 删除标点、错别字模拟

推荐使用 MLflow 管理模型版本：

import mlflow

# 记录实验
with mlflow.start_run():
    mlflow.log_param("model_type", "snips")
    mlflow.sklearn.log_model(engine, "model")

    # 评估指标
    accuracy = evaluate_model(engine)
    mlflow.log_metric("accuracy", accuracy)