大模型部署实验：异构算力教学平台中的AI系统能力培养实战

共计 1828 个字符，预计需要花费 5 分钟才能阅读完成。

背景痛点：异构算力管理的教学挑战

高校和企业 AI 实验室常面临这样的场景：

• 设备异构化：实验室同时存在 T4、V100、CPU 等不同算力节点，甚至同一课程需要混合使用
• 资源碎片化：学生实验时 GPU 被零散占用，2GB 显存任务独占整张 16GB 显卡
• 环境雪崩效应：某组同学的 CUDA 版本冲突可能导致全班实验进度停滞

更头疼的是教学特性带来的特殊需求：

1. 需要支持 50+ 学生同时提交作业时的资源隔离
2. 课程结束后能快速清理环境，避免残留容器影响下期课程
3. 助教要能一键复现学生实验问题

技术选型：为什么是 Kubernetes？

对比常见方案：

• KubeFlow：功能全面但太重，适合生产而非教学
• Ray Cluster：擅长分布式训练，但对异构设备支持较弱
• 纯 Docker Swarm：缺乏细粒度资源调度

我们选择 Kubernetes+DevicePlugin 组合因为：

• 原生支持 GPU 资源上报与调度
• Namespace 机制天然匹配教学多租户需求
• 丰富的运维工具链（Prometheus+Grafana）方便监控

核心实现细节

1. GPU 透传与容器化

关键配置：

# docker-compose.yml 片段
devices:
  - /dev/nvidia0:/dev/nvidia0
  - /dev/nvidiactl:/dev/nvidiactl
  - /dev/nvidia-uvm:/dev/nvidia-uvm

教学环境中特别注意：

• 必须禁用 GPU 驱动自动更新（避免不同节点驱动版本不一致）
• 建议预构建基础镜像包含常用 CUDA 版本

2. 多租户资源配额

通过 ResourceQuota 实现：

apiVersion: v1
kind: ResourceQuota
metadata:
  name: student-a
spec:
  hard:
    requests.nvidia.com/gpu: "2"
    limits.cpu: "8"
    limits.memory: 16Gi

3. 服务化方案选型

推荐组合：

• FastAPI：比 Flask 更规范的异步框架
• TensorRT：实测在教学机 V100 上可使 7B 模型推理速度提升 3 倍

完整部署示例

# deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-service
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama
  template:
    metadata:
      labels:
        app: llama
    spec:
      containers:
      - name: trt-container
        image: registry.edu/llm:v1.2
        resources:
          limits:
            nvidia.com/gpu: 1 # 关键！限制 GPU 数量
        livenessProbe:
          exec:
            command:
            - python
            - health_check.py
          initialDelaySeconds: 30
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: accelerator
                operator: In
                values:
                - v100 # 指定节点类型

性能优化实战

量化对比测试

在 T4 显卡上测试 7B 模型：

1. FP32 原始模型：12 tokens/s
2. FP16 量化后：18 tokens/s
3. INT8 量化后：27 tokens/s（精度损失约 3%）

批次大小选择

教学建议：设置动态 batch 策略，空闲时段处理积压请求

避坑指南

显存 OOM 预防

计算公式：

预估显存 = 模型参数大小 × 数据类型字节数 × 1.2（安全系数）

CUDA 版本冲突

解决方案：

1. 使用 nvidia/cuda 镜像作为基础镜像
2. 在 Dockerfile 中固定版本：

   FROM nvidia/cuda:11.8.0-base
   RUN apt-get install cuda-toolkit-11-8

权限控制

推荐方案：

• 每个班级创建独立 Namespace
• 通过 RBAC 限制学生只能查看自己 Pod
• 使用 NetworkPolicy 隔离组间通信

开放性问题

当周一早上三个班级同时提交大作业时，如何设计弹性伸缩策略？

可能的思路：

1. 基于 Prometheus 指标自动扩容 GPU 节点
2. 设置低优先级队列消化突发请求
3. 使用 Spot 实例补充算力

期待读者在实践中探索更适合教学场景的方案。