深入解析arconv自适应矩形卷积网络：原理、实现与性能优化

1次阅读

共计 1925 个字符，预计需要花费 5 分钟才能阅读完成。

传统 CNN 的方形卷积核在处理长条形或非规则目标时存在明显缺陷。例如在医学影像分割中，血管、神经纤维等细长结构常被方形感受野切割成片段；在文字检测场景（如 ICDAR 数据集），倾斜文本区域因固定卷积核导致特征提取不完整。这种 ” 一刀切 ” 的方式迫使网络通过堆叠多层卷积来间接扩大感受野，既增加计算成本又损失局部细节。

传统 CNN 的参数量为：
$$Params_{std} = C_{in} \times C_{out} \times K^2$$
而 arconv 的参数为：
$$Params_{ar} = C_{in} \times C_{out} \times (K_h \times K_w) + 2\times C_{out}$$
其中增加的 2 个参数控制卷积核长宽比。当 $K_h=3,K_w=7$ 时，arconv 的计算量仅比 3×3 卷积增加约 15%，却能覆盖 5×5 卷积的有效区域。

Deformable Conv：通过偏移量适应物体形状，适合任意复杂边界但计算不稳定
arConv：约束在矩形变换范围内，更适合方向性明显的长条形目标（如文本行、道路等），训练更稳定

自适应矩形卷积核定义为：
$$W_{ar}(p) = \sum_{k=1}^{K_h}\sum_{l=1}^{K_w} w_{k,l} \cdot x(p + s\cdot (k\cdot r_h, l\cdot r_w))$$
其中 $r_h,r_w$ 为动态调整的长宽比系数，通过可学习参数 $\alpha,\beta$ 控制：
$$r_h = 1 + \tanh(\alpha), \quad r_w = 1 + \tanh(\beta)$$

长宽比范围 ：建议初始限制在 [0.5, 2.0]，避免极端比例导致采样失效
采样密度 ：长边方向采用稀疏采样（如 7 个点），短边保持密集（3 个点）

import torch
import torch.nn as nn
import torch.nn.functional as F

class ARConv2d(nn.Module):
    def __init__(self, in_c, out_c, base_k=3, ratio_range=(0.5, 2.0)):
        super().__init__()
        self.base_k = base_k
        self.ratio_low, self.ratio_high = ratio_range

        # 基础卷积参数
        self.weight = nn.Parameter(torch.Tensor(out_c, in_c, base_k, base_k))
        self.bias = nn.Parameter(torch.Tensor(out_c))

        # 长宽比调节参数
        self.alpha = nn.Parameter(torch.zeros(1))
        self.beta = nn.Parameter(torch.zeros(1))

    def forward(self, x):
        B, C, H, W = x.shape

        # 计算动态长宽比
        r_h = 1 + torch.tanh(self.alpha) * (self.ratio_high - 1)
        r_w = 1 + torch.tanh(self.beta) * (self.ratio_high - 1)

        # 生成采样网格
        kh = int(self.base_k * r_h.item())
        kw = int(self.base_k * r_w.item())

        # 使用双线性插值调整卷积核形状（内存优化关键）resized_weight = F.interpolate(self.weight.unsqueeze(0), 
            size=(kh, kw), 
            mode='bilinear'
        ).squeeze(0)

        return F.conv2d(x, resized_weight, self.bias, padding=(kh//2, kw//2))

在 ICDAR2015 文本检测数据集上的对比：