AI算力部署从零开始：技术选型与生产环境最佳实践

1次阅读

共计 2271 个字符，预计需要花费 6 分钟才能阅读完成。

最近几年 AI 模型越来越大，训练和推理需要的算力也水涨船高。但现实中我发现很多团队的 GPU 利用率低得可怜 – 平均只有 40-50% 的利用率，剩下的算力就这么白白浪费了。更糟的是，由于缺乏合理的资源调度，经常出现有的 GPU 卡忙得要死，有的却在那儿睡大觉的情况。

CV 任务 ：卷积神经网络这类计算密集型任务，GPU 的并行计算能力能带来 10-20 倍的加速。以 ResNet50 为例：
CPU(i9-13900K): ~15 images/sec
GPU(RTX 4090): ~300 images/sec
NLP 任务 ：Transformer 架构对矩阵乘法要求高，TPU 的矩阵计算单元优势明显。比如 BERT-base：
GPU(V100): ~120 samples/sec
TPU(v3): ~350 samples/sec

裸金属服务器 ：
优点：性能无损，延迟最低
缺点：升级困难，资源隔离差
容器化部署 ：
优点：快速部署，资源隔离好
缺点：有约 5 -10% 的性能损耗

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: gpu-type
            operator: In
            values:
            - a100
  containers:
  - name: cuda-container
    image: nvidia/cuda:12.0-runtime
    resources:
      limits:
        nvidia.com/gpu: 2

基于 Prometheus 的监控规则示例：

- alert: HighGPUUsage
  expr: avg(rate(nvidia_gpu_utilization[1m])) by (instance) > 80
  for: 5m
  labels:
    severity: warning
  annotations:
    description: GPU utilization over 80% for 5 minutes

完整的 GPU 集群定义：

# 网络模块
module "vpc" {
  source = "terraform-aws-modules/vpc/aws"
  name   = "gpu-cluster-vpc"
  cidr   = "10.0.0.0/16"

  # 必须启用 DNS 支持
  enable_dns_hostnames = true
}

# GPU 节点组
resource "aws_autoscaling_group" "gpu_nodes" {
  name_prefix      = "gpu-node-"
  max_size         = 10
  min_size         = 2

  # 使用 p4d 实例，配备 A100 GPU
  launch_template {id = aws_launch_template.gpu_node.id}
}

批处理管道示例代码：

import torch
from concurrent.futures import ThreadPoolExecutor

class BatchProcessor:
    def __init__(self, model_path, batch_size=32):
        self.model = torch.jit.load(model_path)
        self.batch_size = batch_size

    def process_batch(self, inputs):
        # 将多个请求合并为一个 batch
        batch = torch.stack(inputs)
        with torch.no_grad():
            return self.model(batch)

    async def handle_request(self, request_queue):
        batch = []
        while True:
            # 收集请求直到达到 batch_size
            if len(batch) >= self.batch_size:
                yield self.process_batch(batch)
                batch.clear()

            try:
                item = await request_queue.get()
                batch.append(item)
            except QueueEmpty:
                if batch:  # 处理残余请求
                    yield self.process_batch(batch)
                break