解决LLM上下文窗口不足问题：当agent failed before reply: model context window too small时的优化策略

1次阅读

共计 3097 个字符，预计需要花费 8 分钟才能阅读完成。

当开发者使用大语言模型 (LLM) 构建对话系统或 Agent 时，常会遇到 agent failed before reply: model context window too small (4096 tokens) 错误。该错误表明模型上下文窗口已超出最大限制（如 4096 tokens），导致处理中断。典型场景包括：

长文档问答系统处理多页 PDF 内容时
对话历史超过 20 轮以上的聊天机器人
需要同时分析多个 API 响应数据的自动化 Agent

这种限制会直接导致服务中断、响应丢失和用户体验下降。以 GPT- 3 为例，其 4K tokens 限制约相当于 3000 个英文单词或 2000 个汉字，对于复杂业务场景远远不够。

分块处理是将长文本拆分为模型可消化的小块的核心技术。以下是基于语义分割的 Python 实现：

from transformers import AutoTokenizer
import re

def semantic_chunking(text, model_name='gpt2', max_tokens=512):
    """
    基于句子边界和语义分割的长文本分块
    :param text: 输入文本
    :param model_name: tokenizer 使用的模型
    :param max_tokens: 单块最大 token 数
    :return: 分块后的文本列表
    """
    tokenizer = AutoTokenizer.from_pretrained(model_name)

    # 首先按段落分割
    paragraphs = [p for p in text.split('\n') if p.strip()]
    chunks = []
    current_chunk = []
    current_count = 0

    for para in paragraphs:
        para_tokens = tokenizer.tokenize(para)
        para_count = len(para_tokens)

        # 如果当前块加入新段落后不超限
        if current_count + para_count <= max_tokens:
            current_chunk.append(para)
            current_count += para_count
        else:
            # 保存当前块并新建块
            if current_chunk:
                chunks.append('\n'.join(current_chunk))
            current_chunk = [para]
            current_count = para_count

    # 添加最后一块
    if current_chunk:
        chunks.append('\n'.join(current_chunk))

    return chunks

关键参数说明：

max_tokens应设置为模型上限的 70-80%，预留空间给 prompt 和响应
建议使用与目标 LLM 相同的 tokenizer 保证计数准确
可添加重叠窗口 (overlap) 避免语义断裂

对于需要保持上下文连贯的场景，摘要提取是更好的选择。主流技术对比：

方法	优点	缺点	适用场景
抽取式摘要	保留原文语句，准确性高	可能丢失重要信息	法律 / 医疗文档
生成式摘要	语义连贯，长度可控	需要额外模型资源	新闻 / 会议记录
关键句提取	计算开销低	依赖句子质量	技术文档

推荐使用 HuggingFace 的 pipeline 快速实现：

from transformers import pipeline

summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

def generate_summary(text, max_length=150, min_length=30):
    """
    生成式摘要实现
    :param text: 输入文本
    :param max_length: 最大输出长度
    :param min_length: 最小输出长度
    :return: 摘要文本
    """
    try:
        result = summarizer(text, max_length=max_length, min_length=min_length, do_sample=False)
        return result[0]['summary_text']
    except Exception as e:
        print(f"Summary error: {str(e)}")
        return text[:500] + "..."  # 失败时返回截断文本

对于需要精确查找信息的场景，向量数据库 + 检索是最佳实践：

from sentence_transformers import SentenceTransformer
import pinecone

class VectorRetriever:
    def __init__(self):
        self.model = SentenceTransformer('all-MiniLM-L6-v2')
        pinecone.init(api_key="YOUR_KEY", environment="us-west1-gcp")
        self.index = pinecone.Index("knowledge-base")

    def upsert_documents(self, chunks):
        """将文本块存入向量数据库"""
        embeddings = self.model.encode(chunks)
        records = [(str(i), emb.tolist(), {"text": chunks[i]}) 
                   for i, emb in enumerate(embeddings)]
        self.index.upsert(vectors=records)

    def retrieve(self, query, top_k=3):
        """检索最相关的文本块"""
        query_embedding = self.model.encode(query).tolist()
        results = self.index.query(query_embedding, top_k=top_k, include_metadata=True)
        return [match['metadata']['text'] for match in results['matches']]

在 AWS c5.2xlarge 实例上的测试数据：