ChatGPT记忆功能深度解析：如何实现长期上下文保持与高效检索

1次阅读

共计 1833 个字符，预计需要花费 5 分钟才能阅读完成。

传统对话系统在处理长对话时面临显著的上下文丢失问题，主要源于 token 限制。典型的 GPT 模型有固定的上下文窗口（如 4096 tokens），超出部分会被截断。这种限制导致：

对话历史超过窗口大小时，早期关键信息丢失
多轮对话中需要反复重述背景信息
无法建立真正的长期用户画像和偏好记忆

数据库类型	写入延迟	查询延迟	内存占用	适用场景
FAISS	<5ms	2-10ms	中	高性能本地部署
Pinecone	50-100ms	20-50ms	低	全托管云服务
Milvus	10-30ms	5-20ms	高	大规模生产环境

graph LR
    A[用户输入] --> B(记忆检索)
    B --> C{相关记忆?}
    C -->| 是 | D[注意力加权融合]
    C -->| 否 | E[常规处理]
    D --> F[生成响应]
    E --> F

from sentence_transformers import SentenceTransformer
import numpy as np

encoder = SentenceTransformer('all-mpnet-base-v2')  # 输出维度 768

def encode_memory(text: str) -> np.ndarray:
    """将文本编码为记忆向量"""
    try:
        return encoder.encode(text, convert_to_numpy=True)
    except Exception as e:
        print(f"Encoding failed: {str(e)}")
        return np.zeros(768)  # 失败返回零向量

from sklearn.metrics.pairwise import cosine_similarity

def retrieve_memories(
    query_vec: np.ndarray, 
    memory_db: list[np.ndarray],
    threshold: float = 0.82  # 经测试最优阈值区间 [0.8,0.85]
) -> list[int]:
    """基于余弦相似度的记忆检索"""
    if not memory_db:
        return []

    similarities = cosine_similarity([query_vec], 
        memory_db
    )[0]
    return [i for i, sim in enumerate(similarities) if sim > threshold]

import time

class MemoryItem:
    def __init__(self, vector: np.ndarray, timestamp: float = None):
        self.vector = vector
        self.last_accessed = timestamp or time.time()
        self.access_count = 0

    def decay_factor(self) -> float:
        """计算基于时间的衰减系数"""
        hours_since = (time.time() - self.last_accessed) / 3600
        return 0.9 ** (hours_since / 24)  # 每天衰减 10%