Claude Code接入第三方模型后不自动压缩的底层机制与优化实践

1次阅读

共计 1524 个字符，预计需要花费 4 分钟才能阅读完成。

Claude Code 在接入第三方 LLM 模型时，默认不对响应数据进行压缩，这主要源于以下几个技术考量：

流式传输特性 ：LLM 生成的响应通常是流式的，数据是逐步生成的，无法预先知道完整的内容长度。传统的压缩算法需要完整的文本才能达到最佳压缩效果。
动态内容长度 ：模型响应的长度可能在生成过程中动态变化，这使得预先确定压缩后的数据大小变得困难。
延迟敏感 ：压缩操作会增加额外的 CPU 开销和延迟，对于需要实时交互的 LLM 应用来说，这可能影响用户体验。

以下是主流压缩算法在文本数据压缩中的性能对比：

算法	压缩比	CPU 占用率	适合场景
Gzip	中等	低	通用文本压缩
Brotli	高	中	Web 内容传输
Zstd	高	低	高性能实时压缩

注：压缩比和 CPU 占用率会根据压缩级别和文本内容特性有所变化。

from flask import Flask, request
import gzip
import brotli
from io import BytesIO

app = Flask(__name__)

@app.after_request
def compress_response(response):
    accept_encoding = request.headers.get('Accept-Encoding', '')

    if 'br' in accept_encoding and len(response.data) > 1024:
        compressed = brotli.compress(response.data, quality=4)  # 中等压缩级别
        response.set_data(compressed)
        response.headers['Content-Encoding'] = 'br'
    elif 'gzip' in accept_encoding and len(response.data) > 1024:
        buffer = BytesIO()
        with gzip.GzipFile(fileobj=buffer, mode='wb', compresslevel=6) as f:  # 平衡压缩级别
            f.write(response.data)
        response.set_data(buffer.getvalue())
        response.headers['Content-Encoding'] = 'gzip'

    response.headers['Vary'] = 'Accept-Encoding'
    return response