共计 2108 个字符，预计需要花费 6 分钟才能阅读完成。

背景痛点：为什么广告系统需要极致推理优化？

广告推荐系统的特殊性在于：

1. 实时竞价 (RTB) 的严苛 SLA：从用户触发广告请求到返回结果通常需在 80ms 内完成，其中模型推理时间必须控制在 20ms 以内
2. 流量波动显著：晚间高峰时段 QPS 可达平日的 5 倍，但长尾时段 GPU 利用率可能不足 30%
3. 特征维度爆炸：用户历史行为序列长度动态变化（从几十到上万），传统静态 shape 处理方式导致显存浪费

技术选型：量化方案对比

测试环境：ResNet50 特征提取器 +DeepFM 排序模型，AWS g4dn.xlarge 实例

核心实现技巧

1. TensorRT 动态 shape 处理

广告模型常需处理变长用户行为序列。通过以下配置启用 dynamic shape：

// 创建优化配置文件
auto profile = builder->createOptimizationProfile();
profile->setDimensions("input_name", OptProfileSelector::kMIN, Dims4{1, 1, 1, 32});
profile->setDimensions("input_name", OptProfileSelector::kOPT, Dims4{1, 1, 1, 256});
profile->setDimensions("input_name", OptProfileSelector::kMAX, Dims4{1, 1, 1, 1024});

2. 零拷贝内存管理

避免主机 - 设备内存拷贝的三种方法：

1. CUDA Unified Memory：

   cudaMallocManaged(&data, size, cudaMemAttachGlobal);
   // 直接作为模型输入
   context->setTensorAddress("input", data);

2. Direct I/ O 绑定（需 NVIDIA GPUDirect RDMA 支持）：

   cudaIpcGetMemHandle(&handle, device_ptr);
   // 跨进程共享显存

3. 自定义 Allocator：

   class PooledAllocator : public nvinfer1::IGpuAllocator {void* allocate(size_t size, uint64_t flags) override {return memory_pool_.get(size);
     }
   };

3. 动态批处理实现

线程安全的关键点：

1. 使用双缓冲队列隔离收包线程和推理线程
2. 基于时间窗口 (如 10ms) 和最大 batch size(如 128)触发推理
3. 批处理时按序列长度排序减少 padding

# 伪代码示例
while True:
    batch = []
    start_time = time.time()

    # 收集请求
    while len(batch) < max_batch and (time.time() - start_time) < window_ms/1000:
        request = queue.pop()
        batch.append(request)

    # 按序列长度排序
    batch.sort(key=lambda x: x.seq_len)

    # 执行推理
    outputs = model.infer(batch)

性能测试数据

避坑指南

量化校准陷阱

当发现 INT8 模型输出 score 分布偏离 FP32 时：

1. 使用 EMA 校准替代 Max 校准：

   calibrator = trt.EntropyCalibrator2(
       use_ema=True, 
       ema_decay=0.99
   )

2. 验证集应包含低活跃度用户样本（易被常规校准忽略）

NUMA 绑定技巧

在多 GPU 服务器上：

# 启动时绑定 GPU 与 CPU 节点
numactl --cpunodebind=0 --membind=0 ./inference_service --gpu_id=0

监控指标设计

Prometheus 示例配置：

metrics:
  - name: model_latency
    help: "推理延迟分布"
    type: histogram
    buckets: [10, 25, 50, 100, 200]
    labels:
      - model_version
  - name: batch_size
    help: "动态批处理大小"
    type: summary
    labels:
      - gpu_id

开放性问题

当模型复杂度持续提升时，我们面临根本性矛盾：
– 用户行为序列建模需要更长 attention 窗口
– 多模态融合要求更高维度特征交叉
– 实时性要求却越来越严苛

可能的突破方向：
– 基于用户分群的差异化模型架构
– 提前计算静态特征 embedding
– 硬件感知的神经网络搜索(NAS)