ChatGLM与ChatGPT实战入门：从模型原理到API调用全解析

1次阅读

共计 1932 个字符，预计需要花费 5 分钟才能阅读完成。

作为一名 NLP 开发者，面对众多大模型选择时常常陷入决策困境。尤其是 ChatGLM（国产开源）和 ChatGPT（商业 API）这两个主流选项，各有优劣。以下从几个关键维度进行对比：

时延：ChatGPT 作为云端服务，响应速度稳定但受网络环境影响；ChatGLM 本地部署时延可控但依赖硬件性能
成本：ChatGPT 按 token 计费，长期使用成本较高；ChatGLM 一次性部署成本为主，适合高频调用场景
数据合规性：ChatGLM 完全本地运行，数据不出境；ChatGPT 需考虑数据传输的合规风险

import openai
from dotenv import load_dotenv
import os

# 安全加载 API 密钥
load_dotenv()
openai.api_key = os.getenv('OPENAI_KEY')

# 流式响应处理
def chatgpt_stream(prompt):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.7,  # 控制生成多样性
        stream=True
    )

    for chunk in response:
        content = chunk['choices'][0].get('delta', {}).get('content', '')
        if content:
            yield content

# 异常处理
try:
    for chunk in chatgpt_stream("你好，请介绍一下你自己"):
        print(chunk, end='', flush=True)
except openai.error.RateLimitError:
    print("请求过于频繁，请稍后再试")
except openai.error.APIError as e:
    print(f"API 错误: {str(e)}")

from transformers import AutoModel, AutoTokenizer
import torch

# 本地模型加载
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

# 流式生成
def chatglm_stream(query, history=[]):
    for response, history in model.stream_chat(tokenizer, query, history):
        yield response

# CUDA 版本冲突解决方案
# 建议使用 torch==1.12.1+cu113 对应 cudatoolkit=11.3
try:
    for response in chatglm_stream("你好，请介绍一下你自己"):
        print(response, end='\r')
except RuntimeError as e:
    if "CUDA out of memory" in str(e):
        print("显存不足，请减小 max_length 参数或使用更大显存设备")