CADTransformer实战：基于Panoptic Symbol Spotting的CAD图纸解析方案

1次阅读

共计 2271 个字符，预计需要花费 6 分钟才能阅读完成。

在 CAD 图纸解析领域，传统方法一直面临着诸多挑战。模板匹配虽然简单直接，但在处理多尺度符号时表现不佳，尤其是当符号大小变化较大时，匹配准确率会急剧下降。传统 CNN 方法虽然有所改进，但在复杂场景下仍然存在明显局限：

对于遮挡严重的符号，CNN 往往无法准确识别
长距离依赖关系建模能力不足，导致符号间的关联性被忽略
对小符号的检测效果不理想，误检率较高

这些问题在实际工业场景中尤为明显，特别是在处理大型工程图纸时，传统方法的性能往往难以满足生产需求。

我们对比了几种主流方法在 COCO-CAD 数据集上的表现：

方法	mAP@0.5	小符号检测率	推理速度(FPS)
Faster R-CNN	62.3	45.2	23
Mask R-CNN	65.7	53.1	18
CADTransformer	78.4	68.9	15

从数据可以看出，CADTransformer 在准确率上明显优于传统方法，特别是在小符号检测方面。虽然推理速度稍慢，但其精度提升在实际工程中往往更为重要。

Panoptic Head 是 CADTransformer 的核心组件，它包含两个分支：

Thing 分支：处理可计数的离散符号
Stuff 分支：处理连续的背景区域

我们采用动态权重分配策略，根据当前 batch 中 thing 和 stuff 的比例自动调整损失权重：

class PanopticHead(nn.Module):
    def __init__(self, num_thing_classes, num_stuff_classes):
        super().__init__()
        self.thing_head = nn.Linear(hidden_dim, num_thing_classes)
        self.stuff_head = nn.Linear(hidden_dim, num_stuff_classes)

    def forward(self, x, thing_mask):
        # thing_mask 指示哪些位置属于可计数对象
        thing_weight = thing_mask.float().mean()
        stuff_weight = 1 - thing_weight

        thing_logits = self.thing_head(x) * thing_weight
        stuff_logits = self.stuff_head(x) * stuff_weight

        return thing_logits, stuff_logits

可变形注意力模块是提升模型效率的关键：

class DeformableAttention(nn.Module):
    def __init__(self, embed_dim, num_heads, dropout=0.1):
        super().__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.dropout = dropout

        # 可学习的位置偏移量预测
        self.offset_predictor = nn.Sequential(nn.Linear(embed_dim, embed_dim),
            nn.GELU(),
            nn.Linear(embed_dim, 2 * num_heads)  # 每个头预测 xy 偏移
        )

    def forward(self, query, key, value):
        # 预测每个查询点的偏移量
        offsets = self.offset_predictor(query)
        # 应用偏移并计算注意力
        # ... 具体实现省略...
        return attended_values

CAD 图纸预处理有几个关键点：