大模型成本解析：1亿token多少钱？从计费原理到优化实践

1次阅读

共计 2379 个字符，预计需要花费 6 分钟才能阅读完成。

先看各大云服务商的 token 定价（美元计费）：

服务商	模型版本	输入 / 百万 token	输出 / 百万 token	1 亿 token 成本
OpenAI	GPT-4	$30	$60	$6000
OpenAI	GPT-3.5-turbo	$0.5	$1.5	$150
Anthropic	Claude 3 Opus	$15	$75	$7500
Azure OpenAI	GPT-4	$30	$60	$6000

注：价格随 region 和用量阶梯变化，上表为美东地区标准价

基础概念 ：
英文 1token≈4 字符
中文 1token≈1.5 个汉字
标点符号、空格均计入
Python 计算示例（使用 tiktoken 库）：

import tiktoken

def calculate_tokens(text: str, model: str = "gpt-4") -> int:
    try:
        enc = tiktoken.encoding_for_model(model)
        return len(enc.encode(text))
    except KeyError:
        print(f"Warning: Model {model} not found. Using cl100k_base encoding.")
        enc = tiktoken.get_encoding("cl100k_base")
        return len(enc.encode(text))

# 示例：计算中文文本 token
chinese_text = "大模型 API 调用成本优化"
print(f"Token 数量: {calculate_tokens(chinese_text)}")

from typing import List

class ContextManager:
    def __init__(self, max_tokens: int = 4096):
        self._max_tokens = max_tokens
        self._message_buffer: List[str] = []

    def add_message(self, message: str) -> bool:
        new_tokens = calculate_tokens(message)
        if sum(calculate_tokens(m) for m in self._message_buffer) + new_tokens > self._max_tokens:
            self._message_buffer.pop(0)  # 移除最早的消息
            return self.add_message(message)
        self._message_buffer.append(message)
        return True

import openai
from typing import Generator

def stream_response(prompt: str) -> Generator[str, None, None]:
    try:
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            stream=True,
            temperature=0.7  # 控制生成随机性
        )
        for chunk in response:
            if chunk.choices[0].delta.get('content'):
                yield chunk.choices[0].delta.content
    except Exception as e:
        print(f"API 调用失败: {str(e)}")
        yield ""

import aiohttp
import asyncio

async def batch_request(api_key: str, prompts: List[str]) -> List[str]:
    async with aiohttp.ClientSession() as session:
        tasks = []
        for prompt in prompts:
            task = session.post(
                "https://api.openai.com/v1/chat/completions",
                json={
                    "model": "gpt-3.5-turbo",
                    "messages": [{"role": "user", "content": prompt}],
                    "max_tokens": 500
                },
                headers={"Authorization": f"Bearer {api_key}"}
            )
            tasks.append(task)
        return await asyncio.gather(*tasks)

Region 价格差异 ：
Azure 东南亚节点比美东贵 15%
OpenAI 企业合约可议价
长文本分块陷阱 ：
分块时注意句子完整性
避免在中文中间截断
推荐 overlap 10% 的 token

监控方案 ：

def check_usage(api_key: str) -> dict:
    import requests
    try:
        resp = requests.get(
            "https://api.openai.com/v1/usage",
            headers={"Authorization": f"Bearer {api_key}"}
        )
        return resp.json()
    except Exception as e:
        print(f"监控失败: {str(e)}")
        return {}