Claude第三方模型上下文压缩实战：从原理到工程化落地

1次阅读

共计 1635 个字符，预计需要花费 5 分钟才能阅读完成。

在使用 Claude 进行长文本对话处理时，我们常常会遇到三个典型问题：

截断失真：当对话超过模型的最大上下文窗口时，早期的重要信息会被直接截断，导致后续回复质量下降
API 成本高：按 token 计费的模式下，传输冗余上下文会导致不必要的费用增加
记忆丢失：在多轮对话中，关键的历史对话细节可能因为位置靠前而被新内容挤出上下文窗口

我们对比了当前主流的三种压缩方案：

LLMLingua：基于指令微调的专用压缩模型，Rouge- L 得分 0.82，平均延迟 380ms
GIST：使用关键词提取的轻量方案，Rouge- L 得分 0.75，平均延迟 120ms
混合方案(Sentence-BERT+TF-IDF)：我们的实现，Rouge- L 得分 0.85，平均延迟 210ms

def preprocess_text(text: str) -> str:
    """标准化文本输入"""
    import re
    # 移除特殊字符但保留标点
    cleaned = re.sub(r'[^\w\s,.?!]', '', text)
    return cleaned.lower().strip()

from sentence_transformers import SentenceTransformer
import numpy as np

class KeySentenceExtractor:
    def __init__(self, model_name='all-MiniLM-L6-v2'):
        self.model = SentenceTransformer(model_name)

    def extract(self, text: str, ratio: float = 0.4) -> str:
        sentences = text.split('.')
        embeddings = self.model.encode(sentences)

        # 计算句子重要性得分
        centroids = np.mean(embeddings, axis=0)
        scores = [np.dot(embed, centroids) for embed in embeddings]

        # 选取得分最高的句子
        selected_idx = np.argsort(scores)[-int(len(sentences)*ratio):]
        return '.'.join([sentences[i] for i in sorted(selected_idx)])

from langchain.chains import ConversationChain

class CompressedConversation(ConversationChain):
    def __init__(self, compressor, **kwargs):
        super().__init__(**kwargs)
        self.compressor = compressor

    def _call(self, inputs):
        # 压缩历史对话
        compressed_history = self.compressor.compress(self.memory.buffer)
        return super()._call({
            **inputs,
            'history': compressed_history
        })

在客服对话测试集上的表现：