AI模型token限制与短期记忆问题：新手入门解决方案与实践

1次阅读

没有评论

共计 2289 个字符，预计需要花费 6 分钟才能阅读完成。

当我们使用像 GPT 这样的 AI 模型时，经常会遇到 ”token 不够用 ” 的情况。这里的 token 可以简单理解为模型处理文本的基本单位。比如一个英文单词通常是一个 token，而中文的一个字往往也是一个 token。

技术原理 ：模型在处理文本时，有一个固定的 ” 上下文窗口 ”（context window），这个窗口的大小决定了模型能同时 ” 看到 ” 多少 token。比如 GPT- 3 的窗口是 2048 个 token。
影响表现 ：当输入超过这个限制时，模型就会 ” 忘记 ” 最早的信息，这就像人类只能记住最近的对话内容一样。
注意力机制局限 ：模型的 ” 记忆力 ” 依赖于自注意力机制，计算复杂度随着 token 数量呈平方级增长，这是硬限制的根本原因。

原理：将长文本分割成多个符合 token 限制的小段
优点：实现简单，不改变模型结构
缺点：段间信息丢失，连贯性差

原理：用外部存储保存历史信息
优点：可扩展记忆长度
缺点：需要设计检索机制

原理：用摘要或嵌入表示压缩信息
优点：节省 token 消耗
缺点：可能丢失细节

from transformers import AutoModelForCausalLM, AutoTokenizer
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

class MemoryAugmentedModel:
    def __init__(self, model_name="gpt2"):
        self.model = AutoModelForCausalLM.from_pretrained(model_name)
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.memory = []  # 存储历史信息
        self.memory_embeddings = []  # 存储嵌入向量

    def get_embedding(self, text):
        """获取文本的嵌入表示"""
        inputs = self.tokenizer(text, return_tensors="pt")
        outputs = self.model(**inputs, output_hidden_states=True)
        return outputs.hidden_states[-1][:, -1, :].detach().numpy()

    def retrieve_memory(self, query, top_k=3):
        """检索最相关的记忆"""
        query_embed = self.get_embedding(query)
        similarities = cosine_similarity(query_embed, np.vstack(self.memory_embeddings))
        most_relevant = np.argsort(similarities[0])[-top_k:][::-1]
        return [self.memory[i] for i in most_relevant]

    def generate_with_memory(self, prompt, max_new_tokens=50):
        """结合记忆生成文本"""
        relevant_memories = self.retrieve_memory(prompt)
        context = "\n".join(["Memory:" + mem for mem in relevant_memories] + ["Prompt:" + prompt])
        inputs = self.tokenizer(context, return_tensors="pt")
        outputs = self.model.generate(**inputs, max_new_tokens=max_new_tokens)
        return self.tokenizer.decode(outputs[0], skip_special_tokens=True)