AI 基准测试实战指南：从理论到落地的关键考量

1次阅读

共计 1934 个字符，预计需要花费 5 分钟才能阅读完成。

在 AI 模型部署和优化过程中，开发者常面临三大核心问题：

指标不统一 ：不同团队对吞吐量（throughput）、延迟（latency）等指标的定义和测量方式存在差异，导致结果难以横向比较
环境差异 ：测试环境的硬件配置、软件版本、网络条件与生产环境不一致，使测试结果失去参考价值
结果不可复现 ：由于随机种子、并发控制等因素未严格管理，相同代码在不同次运行中产生显著差异

MLPerf
优势：标准化测试套件、跨平台结果可比性、社区支持
局限：灵活性较低，难以适配定制化模型
自建方案
优势：可完全匹配业务需求，支持特殊指标采集
挑战：需要自行处理结果验证和基线管理

吞吐量（QPS）：$QPS = \frac{request_count}{total_time}$
延迟百分位：$P99 = value_{sorted}[int(0.99 * len(values))]$
GPU 利用率：$utilization = \frac{active_cycles}{total_cycles} \times 100\%$

import time
import numpy as np
from torchvision.models import resnet50

# 数据预处理模拟
def prepare_batch(batch_size=32):
    return torch.randn(batch_size, 3, 224, 224)

# 模型预热（避免冷启动误差）model = resnet50().cuda()
dummy_input = prepare_batch().cuda()
for _ in range(100):  # Warm-up iterations
    _ = model(dummy_input)

# 正式测试循环
start_time = time.time()
request_count = 1000
latencies = []

for _ in range(request_count):
    data = prepare_batch()
    start_infer = time.time()
    _ = model(data.cuda())
    latencies.append(time.time() - start_infer)

total_time = time.time() - start_time
print(f"QPS: {request_count/total_time:.2f}")
print(f"P99 latency: {np.percentile(latencies, 99)*1000:.2f}ms")

较小 batch 导致 GPU 计算单元利用率不足
过大 batch 可能引发内存溢出（OOM）
建议通过网格搜索确定最优值：

for batch_size in [8, 16, 32, 64]:
    test_throughput(model, batch_size)

使用 torch.cuda.memory_allocated() 监控显存变化
在测试前后对比内存状态：

torch.cuda.empty_cache()
start_mem = torch.cuda.memory_allocated()
# Run inference loop
end_mem = torch.cuda.memory_allocated()
assert end_mem - start_mem < 1e6, "Memory leak detected"

明确限制 CPU/GPU 资源配额（如 Kubernetes requests/limits）
避免共享存储卷导致的 IO 争抢
示例 Docker 资源限制：

resources:
  limits:
    nvidia.com/gpu: 1
    memory: "8Gi"
  requests:
    cpu: "2"

使用 NTP 服务保证各节点时间同步
对时差超过阈值的节点发出告警
关键代码示例：

import ntplib
c = ntplib.NTPClient()
response = c.request('pool.ntp.org')
if abs(response.offset) > 0.1:  # 100ms 阈值
    raise TimeSyncError("Clock skew too large")

当测试环境与线上监控出现性能差异时，建议排查：