CenterNet损失函数详解：从理论到PyTorch实战实现

1次阅读

共计 3439 个字符，预计需要花费 9 分钟才能阅读完成。

目标检测中的关键点预测任务面临两个核心挑战：一是如何处理极端的前景 - 背景样本不平衡问题（通常达到 1:1000），二是如何精确回归目标的位置偏移与尺寸。相比 YOLO 和 SSD 这类基于锚框的方法，CenterNet 的创新之处在于完全去除了锚框设计，将目标建模为单个中心点，其损失函数组合也因此具有显著差异：

YOLO/SSD：依赖预定义锚框的 IOU 匹配，使用交叉熵分类损失 +Smooth L1 定位损失
CenterNet：通过热图预测中心点（Focal Loss 变体），配合 L1 回归尺寸和局部偏移量

这种设计使得 CenterNet 在保持高精度的同时，减少了超参数调优的复杂度，但对损失函数的实现细节更加敏感。

采用改进的 Focal Loss 处理类别不平衡问题，公式如下：

$$L_{heat} = -\frac{1}{N} \sum_{xyc} \begin{cases}
(1-\hat{Y}{xyc})^\alpha \log(\hat{Y}=1 \
(1-Y_{xyc})^\beta (\hat{Y}}) & \text{if} Y_{xyc{xyc})^\alpha \log(1-\hat{Y}
\end{cases}$$}) & \text{otherwise

其中：
– $Y_{xyc}$ 是真实热图（通过高斯核生成）
– $\hat{Y}_{xyc}$ 是预测热图
– $\alpha=2$, $\beta=4$ 是超参数，用于抑制简单负样本的影响

使用 L1 损失回归目标宽高，为避免量纲差异需进行对数空间转换：

$$L_{size} = \frac{1}{N} \sum_{k=1}^N |\log(\hat{S}_k) – \log(S_k)|$$

同样采用 L1 损失捕捉中心点的亚像素级偏移：

$$L_{offset} = \frac{1}{N} \sum_{k=1}^N |\hat{O}_k – (\frac{p_k}{R} – \lfloor \frac{p_k}{R} \rfloor)|$$

其中 $R$ 是输出步长（通常为 4）。

def gaussian_radius(det_size, min_overlap=0.7):
    height, width = det_size
    a1  = 1
    b1  = (height + width)
    c1  = width * height * (1 - min_overlap) / (1 + min_overlap)
    sq1 = np.sqrt(b1 ** 2 - 4 * a1 * c1)
    r1  = (b1 - sq1) / (2 * a1)

    a2  = 4
    b2  = 2 * (height + width)
    c2  = (1 - min_overlap) * width * height
    sq2 = np.sqrt(b2 ** 2 - 4 * a2 * c2)
    r2  = (b2 - sq2) / (2 * a2)
    return min(r1, r2)

def draw_gaussian(heatmap, center, radius, k=1):
    diameter = 2 * radius + 1
    gaussian = np.zeros((diameter, diameter), dtype=np.float32)

    # 构建二维高斯分布
    for x in range(diameter):
        for y in range(diameter):
            dist = (x - radius)**2 + (y - radius)**2
            gaussian[y, x] = np.exp(-dist / (2 * radius**2))

    # 将高斯核映射到热图上
    x, y = center
    height, width = heatmap.shape[:2]

    # 边界处理
    left, right = min(x, radius), min(width - x, radius + 1)
    top, bottom = min(y, radius), min(height - y, radius + 1)

    masked_heatmap = heatmap[y - top:y + bottom, x - left:x + right]
    masked_gaussian = gaussian[radius - top:radius + bottom, 
                              radius - left:radius + right]
    np.maximum(masked_heatmap, masked_gaussian * k, out=masked_heatmap)
    return heatmap

class CenterNetLoss(nn.Module):
    def __init__(self, alpha=2, beta=4, lambda_size=0.1, lambda_offset=1):
        super().__init__()
        self.alpha = alpha
        self.beta = beta
        self.lambda_size = lambda_size
        self.lambda_offset = lambda_offset

    def forward(self, pred_heatmap, pred_size, pred_offset, 
                gt_heatmap, gt_size, gt_offset, mask):
        # Heatmap loss
        pos_mask = (gt_heatmap == 1).float()
        neg_mask = (gt_heatmap < 1).float()

        pos_loss = torch.log(pred_heatmap) * torch.pow(1 - pred_heatmap, self.alpha) * pos_mask
        neg_loss = torch.log(1 - pred_heatmap) * torch.pow(pred_heatmap, self.alpha) * \
                   torch.pow(1 - gt_heatmap, self.beta) * neg_mask

        heat_loss = -(pos_loss + neg_loss).sum() / max(1, pos_mask.sum())

        # Size loss (L1 in log space)
        size_loss = F.l1_loss(torch.log(pred_size[mask]), 
            torch.log(gt_size[mask]), 
            reduction='mean'
        )

        # Offset loss
        offset_loss = F.l1_loss(pred_offset[mask], 
            gt_offset[mask], 
            reduction='mean'
        )

        total_loss = heat_loss + \
                    self.lambda_size * size_loss + \
                    self.lambda_offset * offset_loss

        return total_loss, {'heat': heat_loss.item(),
            'size': size_loss.item(),
            'offset': offset_loss.item()}

在训练循环中添加：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=10, norm_type=2)

在 COCO val2017 上的消融实验结果：

损失权重组合	AP@0.5	AP@0.75
仅 Heatmap (1:0:0)	32.1	17.4
标准组合 (1:0.1:1)	37.8	25.6
加强 Size (1:0.5:1)	36.2	24.3
加强 Offset (1:0.1:2)	38.1	26.2

热图半径与召回率的关系：

高斯半径	小目标召回率	大目标召回率
1	52.3%	78.1%
2	68.7%	85.4%
3	72.1%	86.2%
自适应	76.5%	87.9%

热图假阳性问题：
现象：验证时出现大量低置信度误检
对策：在 NMS 前增加基于类别的动态阈值（如：人 0.3，车 0.25）
小目标尺寸回归不稳定：
现象：小目标宽高预测值波动大
对策：对尺寸损失施加 sqrt 缩放：$L_{size} = |\sqrt{\hat{S}} – \sqrt{S}|$
多 GPU 训练同步问题：
现象：loss 出现 NaN 或剧烈震荡
对策：使用 torch.nn.parallel.DistributedDataParallel 替代DataParallel，并确保所有 GPU 的 heatmap 半径计算一致