ChatGPT本地部署实战：从模型加载到API封装全流程解析

1次阅读

共计 2030 个字符，预计需要花费 6 分钟才能阅读完成。

云端 API 调用虽然方便，但存在几个明显痛点：

延迟问题：网络请求的往返时间无法避免，实时交互体验差
隐私风险：敏感数据需要上传到第三方服务器
成本不可控：按 token 计费在长期使用时成本高昂
功能限制：无法自定义模型行为或添加特定业务逻辑

目前主流的本地部署方案主要有三种：

HuggingFace Transformers
优势：官方支持完善，API 设计友好
劣势：原生实现显存占用较高
适用场景：快速原型开发、需要灵活修改模型结构的场景
llama.cpp
优势：CPU 优化出色，支持量化到 4bit
劣势：功能相对单一
适用场景：无 GPU 环境、边缘设备部署
vLLM
优势：推理吞吐量高
劣势：部署复杂度高
适用场景：高并发生产环境

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载基础模型
model_name = "gpt2-xl"  # 也可以是其他 GPT 类模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 8bit 量化
model = model.to('cuda')
model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8
)

# 4bit 量化(需要 bitsandbytes 库)
# model = AutoModelForCausalLM.from_pretrained(model_name, load_in_4bit=True)

# 启用梯度检查点(减少显存占用)
model.gradient_checkpointing_enable()

# 使用 PagedAttention(需要 vLLM)
# from vllm import LLM
# llm = LLM(model="gpt2-xl", tensor_parallel_size=2)

from fastapi import FastAPI, HTTPException, Depends
from fastapi.security import HTTPBearer

app = FastAPI()
security = HTTPBearer()

@app.post("/generate")
async def generate_text(prompt: str, token: str = Depends(security)):
    # 实现鉴权逻辑
    if token.credentials != "YOUR_SECRET_KEY":
        raise HTTPException(status_code=403, detail="Invalid token")

    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=50)
    return {"response": tokenizer.decode(outputs[0])}

# 必须正确设置 attention_mask
inputs = tokenizer(long_text, return_tensors="pt", truncation=True, max_length=2048)
inputs["attention_mask"] = inputs["attention_mask"].to("cuda")

启用 torch.cuda.empty_cache() 定期清理缓存
使用 batch_size=1 进行流式处理
监控显存使用：nvidia-smi -l 1

# 简单的对话历史管理
class Conversation:
    def __init__(self):
        self.history = []

    def add_message(self, role, content):
        self.history.append(f"{role}: {content}")

    def get_prompt(self):
        return "\n".join(self.history)