C++卷积神经网络实战：从零构建高性能推理引擎

1次阅读

没有评论

共计 1874 个字符，预计需要花费 5 分钟才能阅读完成。

在嵌入式设备或高性能计算场景下，直接用 Python 运行卷积神经网络 (CNN) 往往面临性能瓶颈。虽然 C ++ 能提供更好的运行效率，但开发者会遇到几个典型问题：

手动内存管理：CNN 中的权重矩阵、中间张量需要频繁申请 / 释放，容易导致内存泄漏
缺乏高效计算库：原生 C ++ 没有现成的矩阵运算库，手写循环效率远低于优化后的 BLAS 实现
跨平台兼容性：x86 和 ARM 架构的 SIMD 指令集差异大，需要分别优化

对比常见 C ++ 矩阵库的 CNN 适配性：

Armadillo：语法类似 MATLAB 但依赖 BLAS，在移动端部署较笨重
OpenCV：dnn 模块已封装 CNN 但难以自定义网络结构
Eigen：
纯头文件库，无额外依赖
支持动态张量运算
可显式启用 SSE/NEON 指令
提供模板元编程优化空间

用 Eigen::Tensor 替代传统二维矩阵，处理 NHWC 格式输入：

using Tensor4f = Eigen::Tensor<float, 4>;

Tensor4f convolution3x3(const Tensor4f& input, 
                       const Tensor4f& kernel) {
  Eigen::array<Eigen::IndexPair<int>, 2> dims = 
    {Eigen::IndexPair<int>(1, 0), 
     Eigen::IndexPair<int>(2, 1)};
  return input.convolve(kernel, dims);
}

class ConvLayer {
  std::shared_ptr<Tensor4f> weights;
  std::shared_ptr<Eigen::VectorXf> bias;

public:
  ConvLayer(int in_channels, int out_channels) {
    weights.reset(new Tensor4f(out_channels, 
                              in_channels, 3, 3));
    bias.reset(new Eigen::VectorXf(out_channels));
    // Xavier 初始化...
  }
};

利用模板避免运行时分支预测：

template<ActivationType T>
Eigen::VectorXf activate(Eigen::VectorXf x) {if constexpr (T == ReLU)
    return x.cwiseMax(0);
  else if constexpr (T == Softmax)
    return x.exp() / x.exp().sum();}

find_package(Eigen3 REQUIRED)
add_executable(cnn_mnist
  src/main.cpp
  src/layers.cpp)

if(CMAKE_SYSTEM_PROCESSOR MATCHES "arm")
  target_compile_options(cnn_mnist PRIVATE "-march=armv8-a+simd")
endif()

// 使用 Eigen 内置的向量化
Eigen::internal::setCpuCacheSizes(256*1024, 512*1024);

#pragma omp parallel for
for(int i=0; i<output_batches; ++i) {
  // 自动使用 NEON/SSE 指令
  output.tensor(i) = input.tensor(i).convolve(kernel);
}

树莓派 4B (ARM Cortex-A72)测试结果：