CADTransformer实战：基于Panoptic Symbol Spotting的CAD图纸解析方案

1次阅读

共计 2298 个字符，预计需要花费 6 分钟才能阅读完成。

CAD 图纸中的符号识别一直是工业设计自动化中的难点。传统方法如模板匹配和传统 CNN 在复杂场景下表现不佳，主要原因有：

多尺度符号处理困难：CAD 图纸中符号尺寸差异大，小符号容易漏检
遮挡场景性能下降：图纸中经常存在符号重叠、部分遮挡的情况
类别间相似度高：不同类别的工程符号往往只有细微差别
背景干扰严重：CAD 图纸中的网格线、尺寸标注等干扰因素多

我们在 COCO-CAD 数据集上对比了几种主流方法：

方法	mAP@0.5	推理速度(FPS)	GPU 显存占用
Faster R-CNN	62.3	15.2	4.1GB
Mask R-CNN	65.7	12.8	5.3GB
CADTransformer	78.4	9.6	6.8GB

Transformer 的优势主要体现在：

长距离依赖建模能力强，适合处理大尺寸图纸
可变形注意力机制能更好适应不同尺度的符号
Panoptic 分割框架同时处理可数物体和不可数区域

CADTransformer 采用双分支结构：

Thing 分支：处理可数符号（如阀门、接头）
Stuff 分支：处理不可数区域（如管道、文字）

权重分配策略：

# Panoptic Head 权重配置示例
class PanopticHead(nn.Module):
    def __init__(self, in_channels, num_things, num_stuff):
        super().__init__()
        # Thing 分支权重设为 stuff 分支的 1.2 倍
        self.thing_head = nn.Conv2d(in_channels, num_things, 3, padding=1)
        self.stuff_head = nn.Conv2d(in_channels, num_stuff, 3, padding=1)
        nn.init.xavier_uniform_(self.thing_head.weight, gain=1.2)  # 重点优化可数物体
        nn.init.xavier_uniform_(self.stuff_head.weight, gain=1.0)

关键代码展示了如何实现可变形注意力模块：

class DeformableAttention(nn.Module):
    def __init__(self, embed_dim, num_heads, dropout=0.1):
        super().__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        # 可变形采样的偏移量预测
        self.offset_pred = nn.Linear(embed_dim, 2 * num_heads * 9)  # 9 个采样点

    def forward(self, query, reference_points, input_flatten):
        # 计算每个注意力头的偏移量
        offsets = self.offset_pred(query).view(-1, self.num_heads, 9, 2)  # [B, H, 9, 2]

        # 应用可变形采样
        sampled_features = deform_attn_core(
            value=input_flatten,
            value_spatial_shapes=input_spatial_shapes,
            sampling_locations=reference_points + offsets,
            attention_weights=attention_weights
        )
        return sampled_features

CAD 图纸预处理流程：

矢量化转栅格化：使用 300DPI 分辨率平衡精度和效率
图层分离：提取不同工程系统 (如电气、管道) 到独立通道
归一化处理：将坐标值缩放到 [0,1] 范围
数据增强：随机旋转(±5°)、亮度调整(±10%)

不同输入分辨率下的显存消耗(T4 显卡)：

分辨率	Batch=1	Batch=4	Batch=8
512×512	3.2GB	5.1GB	OOM
1024×1024	6.8GB	OOM	OOM
2048×2048	OOM	OOM	OOM

建议：

训练时使用 512×512 分辨率 + 梯度累积
推理时采用滑动窗口处理大图

# 导出时需特殊处理的算子
torch.onnx.export(
    model,
    dummy_input,
    "cad_transformer.onnx",
    opset_version=13,
    custom_opsets={"DeformableAttention": 1},
    dynamic_axes={"input": {0: "batch", 2: "height", 3: "width"},
        "output": {0: "batch"}
    }
)