Agent长期记忆的工程实践：基于向量数据库的实现与优化

1次阅读

共计 1756 个字符，预计需要花费 5 分钟才能阅读完成。

在构建具备长期记忆能力的 Agent 系统时，传统关系型数据库暴露了明显短板：

模糊匹配效率低下 ：当 Agent 需要回忆 ” 用户去年提到的旅行计划 ” 时，SQL 的 LIKE 操作无法有效处理语义相关性
上下文关联困难 ：关系型数据库难以建立 ” 咖啡喜好 ” 与 ” 下午工作会议安排 ” 之间的隐性联系
维度灾难 ：随着记忆条目增长，传统索引对高维向量的检索性能急剧下降

主流解决方案性能对比（基于 16 核 32G 云服务器测试数据）：

数据库	写入速度 (条 / 秒)	查询延迟 (ms)	社区活跃度	分布式支持
Pinecone	8500	12	★★★★☆	完善
Milvus	12000	8	★★★★★	完善
Weaviate	6000	15	★★★☆☆	基础

选型建议 ：
– 需要快速上云选 Pinecone
– 追求极致性能选 Milvus
– 需要图数据库特性考虑 Weaviate

# 使用 OpenAI 的 text-embedding-3-small 模型
from openai import OpenAI

def get_embedding(text):
    client = OpenAI()
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-small"
    )
    return response.data[0].embedding

选择 HNSW（Hierarchical Navigable Small World）算法原因：
支持动态更新（适合记忆持续增长场景）
查询复杂度 O(log n) 优于 IVF_FLAT
内存友好，适合生产环境

查询重写 ：将原始问题扩展为 3 个语义相似问法
混合检索 ：结合关键词过滤提升召回精度
缓存策略 ：对高频记忆设置 TTL 缓存

import pinecone
from backoff import on_exception, expo

# 初始化连接
@on_exception(expo, Exception, max_tries=3)
def init_pinecone():
    pinecone.init(api_key="YOUR_KEY", environment="us-west1-gcp")
    return pinecone.Index("agent-memory")

# 记忆存储
index = init_pinecone()

def store_memory(key: str, text: str, metadata: dict):
    try:
        vector = get_embedding(text)
        index.upsert([(key, vector, metadata)])
    except Exception as e:
        log_error(f"存储失败: {str(e)}")
        raise

# 记忆召回
def recall_memory(query: str, top_k=5, threshold=0.72):
    query_vec = get_embedding(query)
    results = index.query(
        vector=query_vec,
        top_k=top_k,
        include_metadata=True
    )
    return [match for match in results.matches if match.score > threshold]