ChatGPT本地部署大模型实战指南：从环境搭建到生产级优化

1次阅读

共计 1992 个字符，预计需要花费 5 分钟才能阅读完成。

最近在本地部署类 ChatGPT 大模型时，遇到了不少坑。总结下来主要有这几个问题：

显存不足：动辄几十 GB 的模型参数，普通显卡根本吃不消
依赖冲突：各种 Python 包版本打架，环境搭建异常痛苦
长文本处理：超过 2k token 时推理速度断崖式下降
部署复杂：生产环境要考虑服务化、监控等额外因素

试了几个主流方案后，整理出这个对比表格：

方案	优点	缺点	适用场景
text-generation-webui	开箱即用的 Web 界面	资源占用高	快速 demo 验证
vLLM	连续批处理效率高	对 CUDA 版本要求严格	高并发生产环境
llama.cpp	内存优化极致	需要模型转换	边缘设备部署

推荐组合方案：开发阶段用 text-generation-webui 快速验证，生产环境上 vLLM。

这个 Dockerfile 包含多阶段构建和 CUDA 优化：

# 构建阶段
FROM nvidia/cuda:12.2-base as builder

RUN apt-get update && apt-get install -y \
    python3-pip \
    && rm -rf /var/lib/apt/lists/*

COPY requirements.txt .
RUN pip install --user -r requirements.txt

# 运行阶段
FROM nvidia/cuda:12.2-runtime

COPY --from=builder /root/.local /root/.local
ENV PATH=/root/.local/bin:$PATH

# 量化工具安装
RUN pip install auto-gptq

EXPOSE 5000
CMD ["python", "app.py"]

用 GGUF 格式能节省 70% 内存（实测 13B 模型从 26GB→7.8GB）：

python convert.py \
  --model-name meta-llama/Llama-2-13b-chat \
  --quantize gptq \
  --output-format gguf \
  --output-file llama-2-13b-chat-q4.gguf

在 RTX4090 上测试不同量化级别：

量化级别	内存占用	推理速度(tokens/s)	精度损失
q4	7.8GB	85	明显
q8	12.1GB	62	轻微

vLLM 的连续批处理配置示例（config.yml）：

execution:
  max_batch_size: 32
  max_seq_len: 4096
  enable_chunked_prefill: true

常见报错 CUDA error: no kernel image 的解决方案：

# 查看显卡计算能力
nvidia-smi --query-gpu=compute_cap --format=csv

# 重新安装匹配版本的 torch
pip install torch --extra-index-url https://download.pytorch.org/whl/cu118

需要在加载 tokenizer 时特别指定：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
    "THUDM/chatglm3-6b", 
    trust_remote_code=True,
    padding_side="left"  # 中文需要左对齐
)

暴露关键指标的 Python 示例：

from prometheus_client import start_http_server, Gauge

gpu_mem = Gauge('gpu_memory_usage', 'GPU memory used (MB)')

def collect_metrics():
    # 获取 GPU 内存数据
    gpu_mem.set(get_gpu_usage()) 

start_http_server(8000)

FastAPI 的 JWT 鉴权代码片段：

from fastapi.security import HTTPBearer

security = HTTPBearer()

@app.post("/chat")
async def chat(prompt: str, credentials: HTTPAuthorizationCredentials = Depends(security)):
    verify_jwt(credentials.credentials)
    return generate_response(prompt)