CARLA深度强化学习实战：从零构建自动驾驶决策模型

1次阅读

共计 2908 个字符，预计需要花费 8 分钟才能阅读完成。

CARLA 作为自动驾驶研究的开源仿真平台，提供了高度逼真的城市环境和传感器模拟。但在深度强化学习应用中，新手常遇到几个典型问题：

高延迟响应：CARLA 的物理引擎和渲染管线导致每一步动作需要约 100-300ms 的等待时间，远慢于 Atari 等传统 RL 环境
状态空间复杂 ：激光雷达点云(约 30 万点 / 帧) 与高清摄像头图像 (1920×1080) 直接作为输入会超出 GPU 显存
稀疏奖励困境：简单设置 ” 到达目的地 +1″ 的奖励会导致智能体完全无法学习

算法	适用场景	CARLA 适配度	训练稳定性
DQN	离散动作空间(如转向档位)	★★★☆☆	中等，需调参
PPO	连续控制(油门 / 刹车)	★★★★☆	较高
SAC	多模态传感器输入	★★☆☆☆	较低，显存需求大

使用 gym-carla 封装原始 API，关键配置参数：

env = gym.make('Carla-v0', 
               town='Town05',
               sensors={'camera': (480, 360),
                   'lidar': (32, 1024)  # 降低分辨率
               },
               discrete_actions=True)  # DQN 需要离散动作

采用多模态特征融合方案：

图像处理：
将 RGB 图像降采样至 84×84
通过预训练的 ResNet18 提取特征向量(512 维)
激光雷达处理：
极坐标转笛卡尔坐标
统计前向 30 度扇形区内点云密度(10 维)
车辆状态：
速度(1 维)
转向角(1 维)
到路线偏离距离(1 维)

最终状态向量共 525 维，代码实现：

def extract_features(obs):
    # 图像特征
    img_tensor = torch.FloatTensor(obs['camera']).permute(2,0,1)
    img_feat = resnet(img_tensor.unsqueeze(0))[0]

    # 激光雷达特征
    lidar = polar_to_cartesian(obs['lidar'])
    sector = lidar[(lidar[:,1]>-15) & (lidar[:,1]<15)]
    density = np.histogram(sector[:,0], bins=10)[0]

    return np.concatenate([img_feat.detach().numpy(),
        density / density.sum(),
        [obs['speed'], obs['steering'], obs['deviation']]
    ])

采用双网络结构 + 优先经验回放：

class DQN(nn.Module):
    def __init__(self, state_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, 256)
        self.fc2 = nn.Linear(256, 128)
        self.out = nn.Linear(128, action_dim)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        return self.out(x)

# 优先回放缓冲区
class PrioritizedReplayBuffer:
    def __init__(self, capacity: int, alpha: float = 0.6):
        self.capacity = capacity
        self.alpha = alpha
        self.buffer = []
        self.priorities = np.zeros((capacity,), dtype=np.float32)

    def add(self, experience, priority: float):
        idx = len(self.buffer) % self.capacity
        if len(self.buffer) < self.capacity:
            self.buffer.append(experience)
        else:
            self.buffer[idx] = experience
        self.priorities[idx] = priority ** self.alpha

避免的常见错误方案：

# 不良设计示例
reward = 1 if reach_goal else -0.1

推荐的多维度奖励：

def calculate_reward(state, collision):
    # 基础移动奖励
    speed_reward = state['speed'] / 30.0  # 归一化

    # 路径跟踪
    dev_penalty = -abs(state['deviation']) * 0.5

    # 碰撞惩罚
    collision_penalty = -10.0 if collision else 0.0

    # 生存奖励
    survival_bonus = 0.01

    return speed_reward + dev_penalty + collision_penalty + survival_bonus

CARLA 的 Python API 存在 GIL 问题，建议：

使用 concurrent.futures 线程池
为每个 worker 创建独立的环境实例
共享重放缓冲区加锁保护

from threading import Lock

buffer_lock = Lock()

def worker(env, buffer):
    while True:
        state = env.reset()
        done = False
        while not done:
            action = select_action(state)
            next_state, reward, done, info = env.step(action)

            with buffer_lock:
                buffer.add((state, action, reward, next_state, done), 
                          abs(reward) + 1e-5)
            state = next_state

在 Town05 地图训练 20000 步后的表现：

指标	DQN	规则算法
平均奖励	4.2	1.8
碰撞率	12%	28%
任务完成率	65%	42%

收敛曲线显示约 8000 步后进入稳定学习阶段：

[图示] 横轴：训练步数 纵轴：每百步平均奖励
|      *
|     * *
|    *   *
|---*-----*---------->

代码规范：
使用 mypy 进行类型检查

关键函数添加 docstring

def preprocess_image(image: np.ndarray) -> torch.Tensor:
    """ 将 CARLA 摄像头图像转为网络输入格式
    Args:
        image: HWC 格式的 BGR 图像
    Returns:
        归一化后的 CHW tensor
    """
    # ... 实现代码