基于ACDC数据集的自动驾驶感知系统优化实践

1次阅读

共计 1517 个字符，预计需要花费 4 分钟才能阅读完成。

自动驾驶感知模型在晴朗天气下表现优异，但遇到雨雪等复杂天气时性能急剧下降。根据 ACDC 数据集的测试结果：

常规 YOLOv5 模型在晴朗天气下的 mAP@0.5 为 72.3%
雨雪天气下 mAP@0.5 骤降至 41.8%（下降 30.5 个百分点）
能见度低于 50 米时，小目标漏检率高达 63%

常见的数据增强方法存在明显缺陷：

简单数据增强 （随机翻转 / 亮度调整）
仅能模拟表层特征变化
无法生成真实的雨雪物理特性（如雨滴折射、积雪覆盖）
合成数据生成
使用 GAN 生成虚假天气图像
存在域偏移问题（合成数据与真实场景差距大）
计算资源消耗大（生成 1 万张图像需 8 小时）

# 气象条件分类器（ResNet18 backbone）class WeatherClassifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = resnet18(pretrained=True)
        self.fc = nn.Linear(512, 4)  # 4 种天气类型

    def forward(self, x):
        features = self.backbone(x)
        return self.fc(features)

# 自适应特征融合模块
class AdaptiveFusion(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.attention = nn.Sequential(nn.Conv2d(in_channels, in_channels//8, 1),
            nn.ReLU(),
            nn.Conv2d(in_channels//8, in_channels, 1),
            nn.Sigmoid())

    def forward(self, rgb_feat, thermal_feat):
        combined = torch.cat([rgb_feat, thermal_feat], dim=1)
        attn = self.attention(combined)
        return attn * rgb_feat + (1-attn) * thermal_feat

def adaptive_loss(pred, target, weather_type):
    # weather_type: 0- 晴朗 1- 雨天 2- 雪天 3- 雾天
    base_loss = F.smooth_l1_loss(pred, target)

    # 不同天气采用不同权重
    weather_weights = torch.tensor([1.0, 1.3, 1.5, 1.2]).to(device)
    return base_loss * weather_weights[weather_type]