AI Agent开发实战：如何用向量数据库解决上下文记忆难题

1次阅读

共计 2014 个字符，预计需要花费 6 分钟才能阅读完成。

开发 AI Agent 时最头疼的就是长对话中的上下文丢失问题。传统数据库（如 MySQL）存储的对话记录只是冷冰冰的文本，当我们需要查询 ” 上周讨论过的那篇论文 ” 时，只能靠关键词匹配——这就像用字典查同义词，效率低下且容易遗漏。而向量数据库通过将文本转换为 embedding（嵌入向量），使得语义相似的对话片段在向量空间中距离相近，真正实现了 ” 按意思找内容 ” 的能力。

Milvus：开源首选，支持 GPU 加速查询，社区活跃（适合自建集群）
Pinecone：全托管服务，API 简单（适合快速验证场景）
Qdrant：Rust 编写，性能优异（适合对延迟敏感场景）

我们以 Milvus 为例，因为它提供：

动态 schema 支持（对话数据字段可能变化）
混合查询能力（同时使用向量和标量过滤）
完善的 Python SDK

# 初始化 Milvus 连接
from pymilvus import connections
connections.connect("default", host="localhost", port="19530")

# 通过 LangChain 封装操作
from langchain.vectorstores import Milvus
from langchain.embeddings import OpenAIEmbeddings

embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")  # 小模型性价比高
vector_db = Milvus(
    embedding_function=embedding_model,
    collection_name="chat_history",
    connection_args={"host": "localhost", "port": "19530"}
)

# 存储对话片段
def save_context(session_id: str, text: str):
    metadata = {"session_id": session_id, "timestamp": int(time.time())}
    vector_db.add_texts(texts=[text], metadatas=[metadata])  # 自动生成 embedding

# 语义搜索历史
def search_context(session_id: str, query: str, top_k=3):
    results = vector_db.similarity_search(
        query=query,
        k=top_k,
        filter=f"session_id =='{session_id}'"  # 限定当前会话
    )
    return [doc.page_content for doc in results]

（示意图说明：用户输入 -> Embedding 生成 -> Milvus 向量检索 -> 关联历史返回给 LLM）

写入路径：对话片段通过 embedding 模型实时向量化
索引构建：默认使用 IVF_FLAT 索引（平衡精度与速度）
查询路径：先过滤 session_id 再计算余弦相似度

攒够 50 条对话再批量插入（减少网络开销）
开启 auto_id 避免主键冲突

示例配置：

Milvus(
    ...,
    batch_size=50,
    auto_id=True
)

召回率：调整 nprobe=32（搜索的聚类中心数量）
精度：过滤 score < 0.7 的低质量结果
混合查询：结合时间范围过滤（避免返回太旧的记录）

按 session_id 哈希分片（相同会话的数据落在同一节点）
查询节点与 embedding 模型 GPU 绑定部署
资源隔离：限制每个 collection 的 CPU 配额

预填充常见问答对（FAQ embedding）
使用句子相似度模型（如 all-MiniLM-L6-v2）初始化

嵌入维度控制在 768 以内（实测 1536 维收益递减）
定期执行 PCA 降维（Milvus 支持自动降维索引）

# 启用 GPU 加速（需安装 CUDA 版 Milvus）config = {
    "index": {
        "index_type": "IVF_PQ",
        "params": {"nlist": 1024},
        "gpu": True  # 启用 GPU 加速
    }
}