CARLA深度强化学习实战：从仿真环境搭建到策略优化全流程解析

1次阅读

共计 2490 个字符，预计需要花费 7 分钟才能阅读完成。

传统自动驾驶算法开发严重依赖实车测试，面临三大痛点：

高昂成本：1000 公里真实路测成本超 50 万元
安全风险：极端场景测试可能引发事故（如 AEB 紧急制动测试）
场景覆盖不足：长尾场景（corner cases）出现概率不足 0.1%

CARLA 仿真平台 (0.9.13 版本) 提供以下 DRL 训练优势：

多模态传感器仿真 ：支持 64 线激光雷达(LiDAR)、鱼眼相机(fisheye camera) 等 12 种传感器
场景多样性：可程序化生成 200+ 种天气 / 光照组合
加速迭代：10 倍速仿真时，1 小时可获得相当于真实世界 10 小时的数据

graph TD
    A[CARLA Server] -->|RGB 图像 | B(Data Preprocessor)
    A -->|LiDAR 点云 | B
    B --> C[Feature Extractor]
    C --> D[PPO Policy Network]
    D --> E[Action Executor]
    E --> A

算法	适用场景	CARLA 中平均帧率(FPS)
DQN	离散动作空间	38
PPO	连续控制	25
SAC	高维观测空间	18

class CarlaEnv(gym.Env):
    """CARLA 环境 Gym 接口封装"""

    def __init__(self, town='Town02'):
        # 连接 CARLA 服务端
        self.client = carla.Client('localhost', 2000)
        self.world = self.client.load_world(town)

        # 异步数据采集线程
        self.sensor_queue = queue.Queue()
        self._setup_sensors()

    def _process_lidar(self, point_cloud):
        """LiDAR 点云体素化处理"""
        voxel_size = 0.1  # 10cm 体素
        return voxel_grid(point_cloud, voxel_size)

    def step(self, action):
        # 执行转向 / 油门 / 刹车控制
        steer, throttle, brake = action
        self.vehicle.apply_control(
            carla.VehicleControl(steer=float(steer),
                throttle=float(throttle),
                brake=float(brake)
            ))

        # 获取奖励
        reward = self._calculate_reward()
        obs = self._get_observation()
        done = self._check_termination()

        return obs, reward, done, {}

理想奖励函数应包含：

进度奖励：$R_{progress} = \alpha \cdot \Delta d$
安全惩罚：$R_{collision} = -\beta \cdot \mathbb{I}_{collision}$
舒适度惩罚：$R_{jerk} = -\gamma \cdot ||a_t – a_{t-1}||^2$

推荐初始参数值：
– $\alpha=1.0$ (每米进度奖励)
– $\beta=10.0$ (碰撞惩罚)
– $\gamma=0.1$ (急加减速惩罚)

# config.yaml
distribution:
  num_gpus: 4
  rollout_fragment_length: 200
  train_batch_size: 4000
  num_workers: 8

CARLA PythonAPI 的常见内存问题：

Actor 未销毁：必须显式调用destroy()

# 错误示范
sensor = world.spawn_actor(blueprint, transform)

# 正确做法
try:
    sensor = world.spawn_actor(blueprint, transform)
    # 使用传感器...
finally:
    sensor.destroy()

回调函数引用：移除监听器前需取消注册

lidar.listen(lambda data: queue.put(data))  # 会持续持有引用

# 解决方案
lidar.stop()  # 必须先停止再销毁
lidar.destroy()

功能点	0.9.x 版本	1.0.x 版本
地图加载	`load_map()`	`load_world()`
传感器数据	同步模式默认开启	需要显式配置
交通管理器	无	TrafficManager API

症状：奖励曲线初期上升后突然崩溃

可能原因：
1. 探索率 (exploration rate) 衰减过快
2. 奖励函数存在漏洞（如未惩罚逆行）
3. 价值函数估计偏差过大

解决方案：
– 采用动态探索率：$\epsilon = \epsilon_{max} – (\epsilon_{max}-\epsilon_{min})*\frac{t}{T}$
– 增加行为约束检查：

def _check_violation(self):
    # 检测逆向行驶
    lane_orientation = self.vehicle.get_transform().rotation.yaw
    road_orientation = self._get_road_angle()
    return abs(lane_orientation - road_orientation) > 90