ChatGPT本地部署实战：从模型加载到API封装的全链路指南

1次阅读

没有评论

共计 2758 个字符，预计需要花费 7 分钟才能阅读完成。

最近在项目里用 OpenAI 的 API 时，发现三个头疼问题：

延迟波动：高峰期 API 响应能到 3 - 4 秒，对实时交互场景很不友好
隐私顾虑：医疗金融类数据不敢往云端传
成本失控：突发流量下账单能翻十倍，老板脸色很难看

本地化部署的优势就凸显出来了：

数据不出域：敏感数据全程在本地服务器处理
长尾请求省钱：高频使用场景下，长期成本比 API 低 60% 以上
定制化可能：可以针对垂直领域做模型微调

测试了三个主流开源模型的表现：

模型	参数量	显存占用(FP16)	生成质量
GPT-J 6B	6B	12GB	中等
LLaMA-7B	7B	14GB	较好
ChatGLM2-6B	6B	11GB	优秀

最终选择 ChatGLM2-6B，因为：

中文表现最优
支持 INT4 量化（显存降至 6GB）
有活跃的社区支持

不同量化级别的资源消耗（以 A100 为例）：

量化方式	显存占用	生成速度(tokens/s)
FP16	11GB	45
INT8	8GB	65
INT4	6GB	82

最低配置建议：

GPU：RTX 3090（24GB 显存）
CPU：4 核以上
内存：32GB

conda create -n chatglm python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.7 -c pytorch
pip install transformers==4.33.3 accelerate sentencepiece

from transformers import AutoModel, AutoTokenizer

# 建议提前下载到本地
model_path = "./chatglm2-6b"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 按需选择量化模式
model = AutoModel.from_pretrained(
    model_path,
    trust_remote_code=True,
    device_map="auto",
    load_in_4bit=True  # INT4 量化
).eval()

关键参数说明：

device_map="auto"：自动分配 GPU/CPU 资源
load_in_4bit=True：启用 4bit 量化

# 启用 KV 缓存加速（减少重复计算）response, history = model.chat(
    tokenizer,
    "如何提高代码质量？",
    history=[],
    max_length=2048,
    do_sample=True,
    top_p=0.7,
    temperature=0.95,
    use_cache=True  # 关键加速参数
)

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel

app = FastAPI()

class RequestData(BaseModel):
    prompt: str
    max_length: int = 512

@app.post("/chat")
async def generate_text(data: RequestData):
    try:
        input_ids = tokenizer.encode(data.prompt, return_tensors="pt").cuda()
        outputs = model.generate(
            input_ids,
            max_length=data.max_length,
            num_return_sequences=1
        )
        return {"response": tokenizer.decode(outputs[0])}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

FROM nvidia/cuda:11.7.1-base

WORKDIR /app
COPY . .

RUN apt-get update && \
    apt-get install -y python3-pip && \
    pip install -r requirements.txt

EXPOSE 8000
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

构建命令：

docker build -t chatglm-api .
docker run --gpus all -p 8000:8000 chatglm-api

量化级别	显存占用	响应时间(avg)	文本质量
FP16	11GB	320ms	★★★★★
INT8	8GB	210ms	★★★★☆
INT4	6GB	180ms	★★★☆☆

建议：对质量要求高的场景用 INT8，追求吞吐量用 INT4

from locust import HttpUser, task

class ChatUser(HttpUser):
    @task
    def generate_text(self):
        self.client.post("/chat", json={
            "prompt": "写一首关于春天的诗",
            "max_length": 100
        })

执行测试：

locust -f stress_test.py --headless -u 100 -r 10 --run-time 1m

精度丢失 ：量化后出现乱码？尝试调整temperature 参数（0.7-1.0 之间）
OOM 错误：
减小max_length（默认 2048）
开启use_cache=True
长文本截断：实现分段处理逻辑

# API 密钥验证中间件
@app.middleware("http")
async def auth_middleware(request: Request, call_next):
    if request.headers.get("X-API-KEY") != "your_secret_key":
        return JSONResponse(
            status_code=403,
            content={"detail": "Forbidden"}
        )
    return await call_next(request)