C++中使用TensorRT加速推理：从模型优化到部署实战

共计 2609 个字符，预计需要花费 7 分钟才能阅读完成。

背景与痛点

在部署深度学习模型时，性能往往是关键瓶颈。原生框架（如 PyTorch、TensorFlow）虽然易于训练，但在推理时存在以下问题：

• 框架本身包含大量训练相关代码，导致二进制体积膨胀
• 缺乏针对特定硬件的优化，无法充分发挥 GPU 计算潜力
• 动态调度机制带来额外开销

TensorRT 作为 NVIDIA 官方推理优化器，通过以下方式解决这些问题：

1. 层融合（Layer Fusion）：将多个操作合并为单个内核
2. 精度校准（Precision Calibration）：自动选择最优计算精度
3. 内核自动调优（Kernel Auto-Tuning）：针对不同硬件生成最优实现

技术对比

主要推理加速方案比较：

核心实现

模型转换与优化

典型工作流程：

// 创建构建器
auto builder = std::unique_ptr<nvinfer1::IBuilder>(nvinfer1::createInferBuilder(logger));

// 解析 ONNX 模型
const auto explicitBatch = 1U << static_cast<uint32_t>(nvinfer1::NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);
auto network = std::unique_ptr<nvinfer1::INetworkDefinition>(builder->createNetworkV2(explicitBatch));

auto parser = std::unique_ptr<nvonnxparser::IParser>(nvonnxparser::createParser(*network, logger));
parser->parseFromFile(modelPath.c_str(), 
    static_cast<int>(nvinfer1::ILogger::Severity::kWARNING));

// 构建优化引擎
auto config = std::unique_ptr<nvinfer1::IBuilderConfig>(builder->createBuilderConfig());
config->setMaxWorkspaceSize(1 << 30); // 1GB

auto engine = std::shared_ptr<nvinfer1::ICudaEngine>(builder->buildEngineWithConfig(*network, *config));

动态 Shape 处理

关键步骤：

1. 构建时指定优化 profile
2. 运行时绑定实际维度

// 创建优化 profile
auto profile = builder->createOptimizationProfile();
profile->setDimensions(
    inputTensorName, 
    nvinfer1::OptProfileSelector::kMIN, 
    Dims4{1, 3, 224, 224});
// 设置最大维度...
config->addOptimizationProfile(profile);

// 运行时设置实际维度
auto context = std::unique_ptr<nvinfer1::IExecutionContext>(engine->createExecutionContext());
context->setBindingDimensions(
    inputIndex, 
    Dims4{batchSize, 3, height, width});

INT8 量化实现

校准器实现示例：

class Int8EntropyCalibrator : public nvinfer1::IInt8EntropyCalibrator2 {
public:
    Int8EntropyCalibrator(const std::vector<std::string>& imagePaths,
                         const Dims4& dims, int batchSize)
        : mBatchSize(batchSize), mCurrentIndex(0) {// 初始化校准数据...}

    int getBatchSize() const noexcept override {return mBatchSize;}

    bool getBatch(void* bindings[], const char* names[], 
                 int nbBindings) noexcept override {
        // 填充当前 batch 数据...
        return true;
    }
};

// 配置 INT8 模式
config->setFlag(nvinfer1::BuilderFlag::kINT8);
config->setInt8Calibrator(calibrator.get());

性能测试

实测数据对比（T4 GPU）：

避坑指南

常见问题及解决方案：

• 算子不支持 ：
• 使用 plugin 实现自定义算子

• 替换为等效操作组合

• 内存泄漏 ：

• 使用智能指针管理 TRT 对象

• 确保所有 create 调用都有对应 destroy

• 精度下降 ：

• 检查校准数据集代表性
• 尝试 FP16 模式作为折中方案

生产建议

部署最佳实践：

1. 使用多流（Multi-Stream）提高 GPU 利用率
2. 实现动态批处理（Dynamic Batching）
3. 监控显存使用，避免 OOM
4. 定期更新 TensorRT 版本（每年 4 次大更新）

进一步学习

推荐资源：

• 官方文档：https://docs.nvidia.com/deeplearning/tensorrt
• GitHub 示例：https://github.com/NVIDIA/TensorRT
• 性能调优指南：https://developer.nvidia.com/blog/optimizing-tensorrt-performance/

通过合理应用 TensorRT，我们成功将生产环境的推理延迟从 50ms 降低到 12ms，同时 GPU 利用率提升 40%。建议从简单模型开始实践，逐步掌握完整的优化链条。