C++ TensorRT INT8量化实战：从模型优化到部署避坑指南

1次阅读

共计 2654 个字符，预计需要花费 7 分钟才能阅读完成。

INT8 量化是深度学习模型优化的重要手段，它能将模型中的浮点参数（如 FP32）转换为 8 位整数表示。这种转换带来两个直接好处：

计算速度提升：INT8 运算比 FP32 快 2 - 4 倍，因为更小的数据位宽意味着更高的计算吞吐
内存占用降低：INT8 模型的内存占用仅为 FP32 模型的 1 /4，这对嵌入式设备尤为重要

理解不同精度级别的特性是量化的基础：

精度	位宽	计算速度	内存占用	硬件支持	适用场景
FP32	32 位	基准	100%	所有 GPU	训练 / 高精度推理
FP16	16 位	快 2 - 3 倍	50%	新架构 GPU	推理加速
INT8	8 位	快 4 - 8 倍	25%	专业计算卡	极致推理加速

校准集用于确定各层的动态范围，建议使用 500-1000 张有代表性的输入图片：

std::vector<std::string> get_calibration_files(const std::string& dir_path) {
    std::vector<std::string> files;
    for (const auto& entry : fs::directory_iterator(dir_path)) {if (entry.path().extension() == ".jpg") {files.push_back(entry.path().string());
        }
    }
    if (files.size() < 500) {throw std::runtime_error("Calibration set too small, need at least 500 images");
    }
    return files;
}

关键配置项包括精度模式和校准器设置：

nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger);
nvinfer1::IBuilderConfig* config = builder->createBuilderConfig();

// 启用 INT8 模式
config->setFlag(nvinfer1::BuilderFlag::kINT8);

// 设置校准器
std::unique_ptr<Int8EntropyCalibrator2> calibrator;
calibrator.reset(new Int8EntropyCalibrator2(calibration_files, batch_size, input_width, input_height));
config->setInt8Calibrator(calibrator.get());

// 构建引擎
auto network = builder->createNetworkV2(0);
// ... 网络定义代码 ...
auto engine = builder->buildEngineWithConfig(*network, *config);

量化后的模型需要保存校准缓存以便复用：

// 保存校准缓存
std::vector<char> calibration_cache = calibrator->getCalibrationCache();
std::ofstream out("calibration.cache", std::ios::binary);
out.write(calibration_cache.data(), calibration_cache.size());

// 加载时复用
std::ifstream in("calibration.cache", std::ios::binary);
std::vector<char> cached_data((std::istreambuf_iterator<char>(in)), 
                             std::istreambuf_iterator<char>());
calibrator->setCalibrationCache(cached_data);

在 NVIDIA T4 显卡上测试 ResNet50 的表现（batch_size=32）：

精度	延迟(ms)	吞吐量(img/s)	显存占用(MB)
FP32	15.2	2105	1280
FP16	7.8	4102	640
INT8	4.3	7441	320

症状：量化后模型在真实数据上精度骤降

解决方案：

确保校准集覆盖所有可能输入场景
使用数据增强生成更多样化的样本
对关键层单独设置动态范围

症状：某些层的激活值出现极端分布

调试方法：

// 检查各层动态范围
auto inspector = engine->createEngineInspector();
for (int i = 0; i < engine->getNbLayers(); ++i) {
    auto layer_info = inspector->getLayerInformation(i, nvinfer1::LayerInformationFormat::kJSON);
    std::cout << "Layer" << i << ":" << layer_info << std::endl;
}

关键配置：

// 启用显存复用
config->setMemoryPoolLimit(nvinfer1::MemoryPoolType::kWORKSPACE, 1 << 30);

// 设置最优 batch 大小
auto profile = builder->createOptimizationProfile();
profile->setDimensions("input", 
    nvinfer1::OptProfileSelector::kMIN, Dims4(1, 3, 224, 224));
profile->setDimensions("input", 
    nvinfer1::OptProfileSelector::kOPT, Dims4(32, 3, 224, 224));
config->addOptimizationProfile(profile);