卷积神经网络实战：从卷积层到全连接层的计算优化与性能调优

1次阅读

共计 1838 个字符，预计需要花费 5 分钟才能阅读完成。

卷积神经网络（CNN）如今已经广泛应用于计算机视觉任务中。但在实际应用中，CNN 模型的计算效率和内存占用常常成为瓶颈。尤其在生产环境中，模型需要在资源有限的设备上高效运行。常见的痛点包括：

卷积层计算复杂度高，导致推理速度慢
中间特征图占用大量内存，影响部署
全连接层参数爆炸，模型体积庞大

直接卷积计算
最直观的实现方式，但计算效率低下
适合理解原理，不推荐生产使用
im2col 方法
将卷积运算转换为矩阵乘法
可以利用 BLAS 等优化库加速
会增加内存使用，需要权衡
FFT 卷积
通过傅里叶变换加速计算
对大型卷积核效果明显
会增加转换开销，小卷积核不划算
Winograd 算法
减少乘法运算次数
尤其适合 3 ×3 等小卷积核
数值稳定性需要额外注意

下面是一个使用 im2col 方法实现的高效卷积计算示例：

import numpy as np
from numpy.lib.stride_tricks import as_strided

def im2col(input_data, kernel_size, stride, padding):
    # 添加 padding
    padded = np.pad(input_data, ((0,0), (padding,padding), (padding,padding), (0,0)), mode='constant')

    # 计算输出尺寸
    N, H, W, C = padded.shape
    out_h = (H - kernel_size) // stride + 1
    out_w = (W - kernel_size) // stride + 1

    # 创建输出矩阵
    shape = (N, out_h, out_w, kernel_size, kernel_size, C)
    strides = (padded.strides[0], stride*padded.strides[1], stride*padded.strides[2], 
               padded.strides[1], padded.strides[2], padded.strides[3])

    cols = as_strided(padded, shape=shape, strides=strides)
    cols = np.reshape(cols, (N*out_h*out_w, kernel_size*kernel_size*C))

    return cols

def conv2d_im2col(x, w, b, stride=1, padding=0):
    # 转换输入为列矩阵
    x_col = im2col(x, w.shape[0], stride, padding)

    # 转换权重为行矩阵
    w_row = np.reshape(w, (w.shape[-1], -1)).T

    # 矩阵乘法计算卷积
    out = np.dot(x_col, w_row) + b

    # 调整输出形状
    N, H, W, C = x.shape
    out_h = (H + 2*padding - w.shape[0]) // stride + 1
    out_w = (W + 2*padding - w.shape[1]) // stride + 1
    out = np.reshape(out, (N, out_h, out_w, -1))

    return out