阿里云服务器部署ChatGPT全流程指南：从零搭建到性能调优

共计 2273 个字符，预计需要花费 6 分钟才能阅读完成。

背景痛点

最近在阿里云 ECS 上部署 ChatGPT 服务时，遇到了不少典型问题。跨境 API 延迟和 GPU 显存管理是最让人头疼的两个点。跨境 API 延迟问题主要体现在国内访问 OpenAI API 时，响应时间经常超过 2 秒，用户体验很差。而 GPU 显存管理不当则会导致服务崩溃，尤其是在处理长文本时。

自建服务与直接调用 OpenAI API 的总拥有成本（TCO）差异也很大。自建服务初期投入较高，但长期来看成本更低，尤其是对于高频使用的场景。

技术实现

Docker 化部署方案

1. 安装 Docker 和 NVIDIA 容器运行时

   # 安装 Docker
   sudo apt-get update
   sudo apt-get install docker.io
   
   # 安装 NVIDIA 容器运行时
   distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
   curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
   sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
   sudo systemctl restart docker

2. 拉取 ChatGPT 镜像并运行

   docker pull openai/chatgpt
   docker run -it --gpus all -p 5000:5000 openai/chatgpt

Nginx 配置

以下是 Nginx 的配置片段，包含 HTTPS 证书申请和 WebSocket 代理：

server {
    listen 443 ssl;
    server_name yourdomain.com;

    ssl_certificate /etc/letsencrypt/live/yourdomain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/yourdomain.com/privkey.pem;

    location / {
        proxy_pass http://localhost:5000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}

资源监控脚本

以下是一个简单的 Python 脚本，用于监控 GPU 利用率和显存使用情况：

import pynvml
import time

def monitor_gpu():
    pynvml.nvmlInit()
    handle = pynvml.nvmlDeviceGetHandleByIndex(0)
    while True:
        util = pynvml.nvmlDeviceGetUtilizationRates(handle)
        mem = pynvml.nvmlDeviceGetMemoryInfo(handle)
        print(f"GPU Util: {util.gpu}%, Mem Used: {mem.used/1024**2:.2f}MB")
        if util.gpu > 90 or mem.used > mem.total * 0.9:
            print("Warning: High GPU usage or memory!")
        time.sleep(5)

if __name__ == "__main__":
    monitor_gpu()

性能优化

QPS 对比测试数据

我们测试了 c6g 和 g7ne 两种实例规格的 QPS（每秒查询数）：

动态批处理

通过 vLLM 框架可以实现动态批处理，显著提高吞吐量。以下是配置示例：

from vllm import LLM, SamplingParams

llm = LLM(model="gpt-3", tensor_parallel_size=2)
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
outputs = llm.generate(["Hello, how are you?"], sampling_params)

避坑指南

阿里云国际版与国内版的 API 访问差异

阿里云国际版可以直接访问 OpenAI API，而国内版需要通过代理。以下是解决方法：

# 使用代理
export HTTPS_PROXY=http://your_proxy:port

常见 OOM 问题排查

如果遇到 OOM（内存不足）问题，可以检查 cgroup 配置：

# 查看当前内存限制
cat /sys/fs/cgroup/memory/memory.limit_in_bytes

# 修改内存限制
echo 16G > /sys/fs/cgroup/memory/memory.limit_in_bytes

延伸思考

在设计分级降级策略应对 API 限流时，可以考虑以下几点：

1. 优先保证核心功能的可用性，非核心功能可以暂时降级或关闭。
2. 实现请求队列，对请求进行优先级排序。
3. 使用缓存机制，减少对 API 的直接调用。
4. 监控 API 调用频率，动态调整请求速率。

通过这些策略，可以在 API 限流时最大限度地保证服务的稳定性和用户体验。