本地部署大语言模型ChatGPT：从零开始的避坑实战指南

3次阅读

共计 1869 个字符，预计需要花费 5 分钟才能阅读完成。

最近在本地部署 ChatGPT 这类大语言模型时，发现主要有三个让人头疼的问题：

显存瓶颈：动辄几十 GB 的模型参数，普通显卡根本装不下
依赖冲突：CUDA 版本、Python 包版本各种不兼容，环境配置能折腾一整天
推理延迟：生成文本时经常要等好几秒，完全达不到交互式体验的要求

先看看主流的几种部署方案对比（测试环境：RTX 3090 24GB）：

方案	内存占用	吞吐量(tokens/s)	适用场景
Transformers 原生	18GB	45	开发调试
vLLM	12GB	120	生产部署
GGML 量化版	6GB	35	低配设备

这是我用的docker-compose.yml，已经包含了 CUDA 和常用依赖：

version: '3.8'
services:
  llm-service:
    image: nvidia/cuda:12.2-base
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    volumes:
      - ./models:/app/models
    command: bash -c "pip install torch==2.1.0 && python app.py"

把 FP16 模型转为 INT8 的示例代码（需要安装 auto_gptq）：

from transformers import AutoModelForCausalLM, AutoTokenizer
from auto_gptq import quantize

model_path = "meta-llama/Llama-2-7b-chat-hf"
quant_path = "./quantized"

# 原始模型加载
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16)

# 量化转换
quantize(
    model_path=model_path,
    quant_path=quant_path,
    bits=8,
    group_size=128,
    desc_act=False
)

编译时的关键参数（加到~/.bashrc 里）：

export TORCH_CUDA_ARCH_LIST="8.6"  # 匹配 30 系显卡
export MAX_JOBS=4  # 并行编译线程数
export CFLAGS="-march=native -O3"

测试 7B 模型在不同 batch_size 下的表现：

batch_size= 1 时显存占用 6GB，P99 延迟 320ms
batch_size= 4 时显存占用 14GB，P99 延迟 890ms
batch_size= 8 时直接 OOM（显存不足）

量化前后的对比很有意思：

指标	FP16	INT8
显存占用	14GB	8GB
生成速度	45tok/s	38tok/s
首 token 延迟	210ms	240ms

遇到 CUDA 报错可以尝试：

用 nvcc --version 和nvidia-smi确认驱动版本
使用 conda 安装匹配的 cudatoolkit：conda install cudatoolkit=11.8
强制指定 lib 路径：export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64

动态分块策略示例代码：

def safe_generate(text, max_chunk=512):
    chunks = [text[i:i+max_chunk] for i in range(0, len(text), max_chunk)]
    outputs = []
    for chunk in chunks:
        output = generate(chunk)
        outputs.append(output)
    return "".join(outputs)