Claude API 高效调用指南：如何通过代码优化节省 Token 消耗

1次阅读

共计 2240 个字符，预计需要花费 6 分钟才能阅读完成。

Claude API 的计费是基于 Token 数量的，这里的 Token 不是指单个字符，而是 Claude 处理文本时的最小单位。简单来说，一个英文单词通常会被分成 1-2 个 Token，而中文的一个字通常就是一个 Token。理解这一点很重要，因为它直接影响我们的优化策略。

冗余的 prompt：很多开发者习惯在 prompt 中加入大量解释性文字，但其实 Claude 对简洁的指令理解也很准确
完整的上下文重复 ：在对话式应用中，每次调用都发送完整历史对话
获取不必要的长响应 ：没有限制最大 Token 数，导致返回内容远超需求
忽略缓存机制 ：相同问题的重复查询每次都调用 API

精简指令 ：去除不必要的礼貌用语和冗余解释
结构化输入 ：使用 Markdown 或 JSON 格式提高信息密度
动态压缩 ：根据上下文自动缩短重复内容

设置 max_tokens：限制响应长度
流式处理 ：对长响应分批获取
内容过滤 ：早期丢弃无关内容

对话缓存 ：存储常见问答对
语义缓存 ：相似问题返回缓存答案
分片缓存 ：对长响应分段存储

def compress_prompt(history, new_query, max_history_tokens=200):
    """
    动态压缩对话历史，保留最近且最重要的内容
    :param history: 之前的对话历史列表
    :param new_query: 新的查询
    :param max_history_tokens: 保留的最大历史 Token 数
    """
    compressed = []
    current_length = 0

    # 逆序处理，优先保留最近的对话
    for item in reversed(history):
        item_tokens = estimate_tokens(item)  # 需要实现 Token 估算函数
        if current_length + item_tokens <= max_history_tokens:
            compressed.insert(0, item)
            current_length += item_tokens
        else:
            break

    # 添加核心指令模板
    prompt = f"""基于以下上下文 (已简略):\n{compressed}\n\n 请回答: {new_query}"""
    return prompt

import anthropic

client = anthropic.Client(api_key="your_api_key")

def stream_response(prompt, max_tokens=300):
    """
    流式获取响应，达到足够信息量后提前终止
    :param prompt: 输入提示
    :param max_tokens: 最大 Token 限制
    """response =""
    with client.stream(
        prompt=prompt,
        max_tokens_to_sample=max_tokens,
        model="claude-v1"
    ) as stream:
        for data in stream:
            response += data["completion"]

            # 提前终止逻辑：检测到足够信息
            if is_response_sufficient(response):  # 需要实现判断逻辑
                stream.close()
                break
    return response

from functools import lru_cache
import hashlib

@lru_cache(maxsize=1000)
def get_cached_response(prompt):
    """
    带缓存的 API 调用，对相同 prompt 返回缓存结果
    :param prompt: 输入提示
    """
    # 生成 prompt 的哈希作为缓存键
    prompt_hash = hashlib.md5(prompt.encode()).hexdigest()

    # 这里应该有缓存查询逻辑，简化示例直接调用 API
    response = client.completion(
        prompt=prompt,
        max_tokens_to_sample=300,
        model="claude-v1"
    )
    return response["completion"]

我们对三种典型场景进行了优化前后的对比测试：