TensorRT 10.3 迁移指南：如何解决旧版Caffe模型兼容性问题与GPU设备部署

1次阅读

共计 2796 个字符，预计需要花费 7 分钟才能阅读完成。

TensorRT 作为 NVIDIA 推出的高性能推理优化器，在 10.3 版本中做出了一项重要调整：移除了对传统 Caffe 模型格式的直接支持。这一变化反映了深度学习框架生态的发展趋势，但也给仍在使用 Caffe 模型的团队带来了升级挑战。

历史背景 ：早期 TensorRT（7.x 及之前版本）内置 Caffe 解析器，可直接加载.prototxt 和.caffemodel文件
技术动因：Caffe 社区活跃度下降，ONNX 成为更通用的中间表示格式
影响范围：主要涉及使用 Custom Layers 或非标准层的 Caffe 模型，基础 CNN 结构通常转换顺利

遇到兼容性问题时，开发者主要有两种解决路径：

ONNX 中转方案（推荐）
优势：标准化流程，支持大部分主流框架
局限：某些特殊运算符可能需要额外处理
自定义插件开发
适用场景：包含特殊算子的模型
开发成本：需熟悉 TensorRT Plugin API

建议优先尝试 ONNX 路线，仅在必要时才考虑插件开发。

pip install onnx==1.10.0 caffe2onnx==1.0.0 tensorrt==8.2.1.8

使用 caffe2onnx 工具进行基础转换

from caffe2onnx import convert

convert(
    prototxt_path="model.deploy.prototxt",
    caffemodel_path="model.caffemodel",
    output_path="model.onnx",
    opset_version=11
)

验证 ONNX 模型有效性

import onnx

model = onnx.load("model.onnx")
onnx.checker.check_model(model)

优化计算图结构（可选）

from onnxruntime.tools import optimize_model

opt_model = optimize_model("model.onnx")
opt_model.save("model_optimized.onnx")

创建 TensorRT 引擎时的关键参数：

import tensorrt as trt

builder = trt.Builder(TRT_LOGGER)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, TRT_LOGGER)

# 核心配置项
config = builder.create_builder_config()
config.max_workspace_size = 1 << 30  # 1GB
config.set_flag(trt.BuilderFlag.FP16)  # 启用 FP16 量化

# 动态 shape 处理
profile = builder.create_optimization_profile()
profile.set_shape("input_name", 
                 min=(1,3,224,224), 
                 opt=(8,3,224,224),
                 max=(32,3,224,224))
config.add_optimization_profile(profile)

"""Caffe -> ONNX -> TensorRT 完整转换流程"""
import os
import tensorrt as trt
from caffe2onnx import convert

TRT_LOGGER = trt.Logger(trt.Logger.WARNING)

def build_engine(onnx_path):
    builder = trt.Builder(TRT_LOGGER)
    config = builder.create_builder_config()
    config.max_workspace_size = 1 << 30

    network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
    parser = trt.OnnxParser(network, TRT_LOGGER)

    with open(onnx_path, "rb") as f:
        if not parser.parse(f.read()):
            for error in range(parser.num_errors):
                print(parser.get_error(error))
            return None

    return builder.build_engine(network, config)

# 主流程
if __name__ == "__main__":
    # 第一步：Caffe 转 ONNX
    convert(
        prototxt_path="model.deploy.prototxt",
        caffemodel_path="model.caffemodel",
        output_path="temp.onnx"
    )

    # 第二步：构建 TensorRT 引擎
    engine = build_engine("temp.onnx")
    with open("model.trt", "wb") as f:
        f.write(engine.serialize())

    os.remove("temp.onnx")  # 清理临时文件

在 T4 GPU 上的测试数据（ResNet-50 示例）：