基于CARLA的目标检测实战：从数据采集到模型部署的完整解决方案

1次阅读

没有评论

共计 1871 个字符，预计需要花费 5 分钟才能阅读完成。

在自动驾驶研发中，CARLA 仿真环境虽然提供了丰富的场景，但合成数据与真实世界存在明显的 domain gap。这个差距主要体现在三个方面：

纹理差异：虚拟环境的贴图细节不如真实世界丰富，导致模型学到的特征不够鲁棒
光照变化：CARLA 的动态天气系统虽然强大，但与真实世界的光照分布仍有差异
物体多样性：仿真环境中的车辆 / 行人模型库有限，容易导致过拟合

CARLA 支持多种传感器同步采集，这是提升数据质量的关键：

设置多相机阵列（前视 + 侧视）时，务必使用 carla.Transform 统一时间戳
激光雷达点云与相机图像的空间对齐，需要校正传感器外参
推荐采集策略：
晴天 / 雨天 / 雾天各占 1 /3
包含昼夜交替场景
特殊事件（急刹车、变道）单独标注

在 CARLA 环境下，我们发现：

YOLOv5s 在 640×480 分辨率下能达到 45FPS，但小目标检测效果差
CenterNet 对遮挡情况处理更好，但需要更精细的 heatmap 调参
推荐改进方案：
将普通卷积替换为深度可分离卷积
使用 CARLA 的 semantic 分割图作为辅助监督
添加针对仿真数据的 BN 层冻结策略

部署时最容易遇到性能瓶颈，我们的优化经验：

ROS 节点设计要点：
使用 nodelet 减少序列化开销
图像传输务必采用 compressedImage 格式
坐标系转换统一用 TF2 库

TensorRT 加速技巧：

# 示例：FP16 量化配置
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.FP16)
profile = builder.create_optimization_profile()
profile.set_shape("input", (1,3,480,640), (1,3,480,640), (1,3,480,640))

class CarlaMultiModalDataset(torch.utils.data.Dataset):
    def __init__(self, root_dir):
        self.rgb_files = sorted(glob(f"{root_dir}/RGB/*.png"))
        self.depth_files = sorted(glob(f"{root_dir}/Depth/*.exr"))
        self.semantic_files = sorted(glob(f"{root_dir}/Semantic/*.png"))

    def __getitem__(self, idx):
        # 读取 RGB 图像并归一化
        rgb = cv2.cvtColor(cv2.imread(self.rgb_files[idx]), cv2.COLOR_BGR2RGB)
        rgb = torch.FloatTensor(rgb)/255.0

        # 处理深度图（CARLA 存储为 EXR 格式）depth = cv2.imread(self.depth_files[idx], cv2.IMREAD_ANYCOLOR)
        depth = depth[:,:,0]  # 取单通道

        # 解析语义分割图
        semantic = decode_semantic(self.semantic_files[idx])

        return {"rgb": rgb, "depth": depth, "semantic": semantic}