CARLA仿真中摄像头图片的YOLO目标检测实战指南

1次阅读

没有评论

共计 2691 个字符，预计需要花费 7 分钟才能阅读完成。

CARLA 是一个开源的自动驾驶仿真平台，它提供了高度逼真的城市环境和多样的传感器模拟。在使用 CARLA 进行算法开发时，摄像头是最常用的传感器之一。然而，直接从 CARLA 获取的图像进行目标检测会面临一些特殊挑战：

仿真图像虽然视觉上接近真实，但在纹理、光照和色彩分布上与真实图像存在差异（域差距）
CARLA 中的动态场景（如快速移动的车辆）需要检测算法有较高的实时性
仿真环境中的特殊物体（如半透明的行人 NPC）可能导致检测异常

在 CARLA 环境中测试了 YOLOv5、YOLOv7 和 YOLOv8 后，我们发现：

YOLOv5s：轻量级（14MB），在 1080Ti 上能达到 140FPS，适合快速原型开发
YOLOv7：精度更高，但对仿真图像的过拟合风险更大
YOLOv8：新增的自适应训练功能对域适应有帮助，但需要更多调参经验

对于 CARLA 这样的仿真环境，推荐从 YOLOv5s 开始，平衡速度和精度需求。

CARLA 通过 Python 客户端返回的是 BGRA 格式的数组，需要转换为 YOLO 预期的 RGB 格式：

import carla
import numpy as np

def carla_image_to_array(image):
    """将 CARLA 的 SensorData 转换为 numpy 数组"""
    array = np.frombuffer(image.raw_data, dtype=np.uint8)
    array = array.reshape((image.height, image.width, 4))[:, :, :3]  # 去掉 alpha 通道
    return array[:, :, ::-1]  # BGR→RGB

使用官方预训练模型时，建议对 CARLA 特有的类别（如交通锥）进行微调：

from yolov5.models.experimental import attempt_load

model = attempt_load('yolov5s.pt', map_location='cuda')
model.eval()

# CARLA 特有类别映射
carla_classes = {
    0: 'person',
    1: 'vehicle',
    2: 'traffic_light',
    # ...
}

使用 OpenCV 将检测框叠加到原图上：

import cv2

def draw_boxes(image, detections):
    for *xyxy, conf, cls in detections:
        label = f'{carla_classes[int(cls)]} {conf:.2f}'
        cv2.rectangle(image, (int(xyxy[0]), int(xyxy[1])), 
                      (int(xyxy[2]), int(xyxy[3])), (0,255,0), 2)
        cv2.putText(image, label, (int(xyxy[0]), int(xyxy[1])-10),
                   cv2.FONT_HERSHEY_SIMPLEX, 0.5, (36,255,12), 2)
    return image

#!/usr/bin/env python3
import carla
import torch
import cv2
from yolov5.models.experimental import attempt_load
from yolov5.utils.general import non_max_suppression

# 初始化 CARLA 客户端
client = carla.Client('localhost', 2000)
world = client.get_world()

# 设置摄像头
blueprint = world.get_blueprint_library().find('sensor.camera.rgb')
camera = world.spawn_actor(blueprint, carla.Transform())

# 加载 YOLO 模型
device = 'cuda' if torch.cuda.is_available() else 'cpu'
model = attempt_load('yolov5s.pt', map_location=device)

# 图像回调函数
def process_image(image):
    array = carla_image_to_array(image)

    # YOLO 推理
    img_tensor = torch.from_numpy(array).permute(2,0,1).float().to(device)
    img_tensor /= 255.0  # 归一化
    pred = model(img_tensor[None])[0]  # 增加 batch 维度
    detections = non_max_suppression(pred, 0.5, 0.4)[0]

    # 可视化
    vis_img = draw_boxes(array.copy(), detections)
    cv2.imshow('CARLA + YOLO', vis_img)
    cv2.waitKey(1)

# 开始监听
camera.listen(process_image)

# 运行直到按下 ESC
while True:
    if cv2.waitKey(1) == 27:
        break

camera.destroy()