突破Chatbox上下文窗口限制：优化最大输出Token的工程实践

1次阅读

共计 2032 个字符，预计需要花费 6 分钟才能阅读完成。

在 LLM 应用中，Chatbox 的上下文窗口限制（如常见的 4096 tokens）是开发者经常遇到的瓶颈。当输入文本超过这个限制时，模型会直接截断超出部分，导致生成结果不完整或语义断裂。例如，处理一篇 5000 字的论文摘要时，末尾的关键结论可能被丢弃，严重影响生成质量。

目前主流的上下文扩展方案各有优缺点：

滑动窗口 ：以固定步长移动窗口，计算复杂度 $O(n \times w)$（n 为文本长度，w 为窗口大小），但会丢失跨窗口的长期依赖
Memorizing Transformers：通过 K - V 缓存实现 $O(1)$ 的 token 检索，但内存占用随缓存增长线性上升
Hierarchical Attention：构建多级注意力机制，理论复杂度 $O(n\log n)$，实现难度较高

import numpy as np
from sentence_transformers import SentenceTransformer

# 初始化语义模型
encoder = SentenceTransformer('paraphrase-mpnet-base-v2')

def semantic_chunk(text, max_tokens=512, threshold=0.85):
    sentences = text.split('.')
    embeddings = encoder.encode(sentences)

    chunks = []
    current_chunk = []

    for sent, emb in zip(sentences, embeddings):
        if current_chunk:
            # 计算与当前块的余弦相似度
            chunk_emb = np.mean([encoder.encode(s) for s in current_chunk], axis=0)
            sim = np.dot(emb, chunk_emb) / (np.linalg.norm(emb) * np.linalg.norm(chunk_emb))

            if sim < threshold or len(' '.join(current_chunk + [sent])) > max_tokens:
                chunks.append('.'.join(current_chunk))
                current_chunk = []

        current_chunk.append(sent)

    if current_chunk:
        chunks.append('.'.join(current_chunk))

    return chunks

from transformers import GenerationMixin
from collections import OrderedDict

class DynamicContextGenerator(GenerationMixin):
    def __init__(self, model, max_context=4096, cache_size=3):
        self.model = model
        self.max_context = max_context
        self.cache = OrderedDict()  # 实现 LRU 缓存

    def generate(self, input_chunks, **kwargs):
        context = []

        for chunk in input_chunks:
            # 更新缓存（自动淘汰最旧记录）self.cache[chunk] = self.model.encode(chunk)
            if len(self.cache) > cache_size:
                self.cache.popitem(last=False)

            # 构建当前上下文（最新 chunk + 缓存中最相关的 2 个历史 chunk）current_ctx = self._select_relevant_context(chunk)
            context.append(self.model.generate(current_ctx, **kwargs))

        return ' '.join(context)

    def _select_relevant_context(self, current_chunk):
        # 实现基于语义相似度的上下文选择
        ...

在 AWS p4d.24xlarge 实例（8×A100）上的测试结果：