C++ TensorRT INT8量化实战：从精度校准到推理加速

1次阅读

共计 2531 个字符，预计需要花费 7 分钟才能阅读完成。

在边缘计算场景中，模型推理速度直接影响到用户体验和系统实时性。FP32 精度虽然能保证模型准确率，但其计算量和内存占用对资源有限的边缘设备极不友好。INT8 量化通过将模型权重和激活值从 32 位浮点压缩到 8 位整数，可实现 3 - 5 倍的推理加速和 4 倍的内存节省，这对嵌入式设备和实时推理系统至关重要。

FP32：保持原始模型精度，计算资源消耗大
FP16：速度提升约 2 倍，部分硬件支持自动类型转换
INT8：最大理论加速比 4 倍，但存在精度损失风险

实际测试显示，在 T4 GPU 上 ResNet50 的对比：

FP32: 120ms, 76.5% top1 准确率
FP16: 65ms, 76.4% top1 准确率
INT8: 28ms, 75.8% top1 准确率

数据量：建议 500-1000 张典型场景图片
分布要求：需覆盖所有预期输入场景（不同光照、角度等）
预处理：必须与推理时保持一致（归一化参数 / 裁切方式）

常见错误案例：

使用训练集子集导致分布偏差
未包含边缘 case（如全黑 / 全白图片）
预处理不一致引发激活值分布偏移

class EntropyCalibrator : public IInt8EntropyCalibrator2 {
public:
    EntropyCalibrator(const std::string& calibDataPath, 
                     int batchSize, 
                     const Dims& inputDims)
        : mBatchSize(batchSize), 
          mInputDims(inputDims) {
        // 加载校准数据
        loadCalibrationData(calibDataPath);
    }

    int getBatchSize() const noexcept override {return mBatchSize;}

    bool getBatch(void* bindings[], const char* names[], 
                 int nbBindings) noexcept override {if (mCurrentBatch >= mData.size()) 
            return false;

        // 填充当前 batch 数据
        cudaMemcpy(bindings[0], mData[mCurrentBatch].data(), 
                  mInputCount * sizeof(float), 
                  cudaMemcpyHostToDevice);
        mCurrentBatch++;
        return true;
    }

    const void* readCalibrationCache(size_t& length) noexcept override {
        // 读取已有校准缓存
        mCalibrationCache.clear();
        std::ifstream input("./calibration.cache", std::ios::binary);
        if (input.good()) {
            input >> std::noskipws;
            std::copy(std::istream_iterator<char>(input),
                     std::istream_iterator<char>(),
                     std::back_inserter(mCalibrationCache));
        }
        length = mCalibrationCache.size();
        return length ? mCalibrationCache.data() : nullptr;}

    void writeCalibrationCache(const void* cache, 
                              size_t length) noexcept override {
        // 保存校准结果
        std::ofstream output("./calibration.cache", std::ios::binary);
        output.write(reinterpret_cast<const char*>(cache), length);
    }

private:
    void loadCalibrationData(const std::string& path) {
        // 实现数据加载逻辑
        // 应包括异常处理和分布检查
    }

    int mBatchSize;
    Dims mInputDims;
    size_t mInputCount;
    std::vector<std::vector<float>> mData;
    size_t mCurrentBatch{0};
    std::vector<char> mCalibrationCache;
};

TensorRT 采用熵最小化算法确定各层的 scale 值：