从零构建Agent系统：分词提示工程与向量知识库转换落地实践

1次阅读

共计 1755 个字符，预计需要花费 5 分钟才能阅读完成。

在构建传统 Agent 系统时，开发者通常会遇到两个核心问题：意图识别准确率低和知识检索效率差。这两个问题直接影响了 Agent 系统的用户体验和实用性。

意图识别问题 ：传统基于规则或简单统计的分词方法（如 jieba）难以理解上下文语义，导致在复杂查询中识别错误。例如，” 苹果手机 ” 和 ” 吃的苹果 ” 在传统系统中可能被同等对待。
知识检索问题 ：基于关键词匹配的检索方式无法处理语义相似但表述不同的查询，如 ” 如何重置密码 ” 和 ” 忘记密码怎么办 ” 本应指向同一解决方案。

让我们通过具体实验数据来比较两种分词方式在提示工程中的表现：

指标	jieba 分词	BERT 分词
准确率	68%	89%
响应时间 (ms)	15	45
上下文理解能力	弱	强

虽然 BERT 分词在速度上稍逊，但其语义理解能力带来的准确率提升是质的飞跃。对于 Agent 系统而言，准确理解用户意图往往比响应速度更重要。

收集原始知识文档（Markdown/PDF/HTML 等格式）
使用预训练模型进行段落分割和向量化
将向量存入 FAISS 或 Milvus 等向量数据库

混合检索 ：结合关键词和向量相似度进行加权排序
查询扩展 ：使用同义词库扩展原始查询
结果重排 ：基于用户反馈动态调整排序权重

import torch
from sentence_transformers import SentenceTransformer
from transformers import AutoTokenizer

# 初始化模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')

def encode_text(text: str) -> torch.Tensor:
    """将文本编码为向量"""
    return model.encode(text, convert_to_tensor=True)

def build_vector_db(docs: list[str]) -> dict:
    """构建向量知识库"""
    return {doc: encode_text(doc) for doc in docs}

def semantic_search(query: str, vector_db: dict, top_k=3) -> list:
    """语义搜索实现"""
    query_vec = encode_text(query)
    similarities = [(doc, float(torch.cosine_similarity(query_vec, vec, dim=0)))
        for doc, vec in vector_db.items()]
    return sorted(similarities, key=lambda x: x[1], reverse=True)[:top_k]

我们在 ATIS 航班查询数据集上进行了测试：