CARLA深度强化学习实战：从零构建自动驾驶决策模型

1次阅读

共计 1570 个字符，预计需要花费 4 分钟才能阅读完成。

CARLA 作为自动驾驶研究的开源仿真平台，虽然提供了高度还原的交通环境，但也给深度强化学习（DRL）的实现带来了独特挑战：

延迟响应问题：CARLA 的物理引擎计算开销大，导致动作与观测之间存在 100-200ms 延迟，这对需要实时决策的 DRL 模型造成干扰
高维状态空间：激光雷达点云（通常超过 10 万个点）与高清摄像头图像（1920×1080 分辨率）的组合，远超常规 DRL 算法的处理能力
非稳态环境：动态交通参与者（车辆 / 行人）的随机行为导致环境难以收敛

算法	适用场景	CARLA 适配性	训练效率
DQN	离散动作空间	需自定义状态编码 ★★★☆	中等
PPO	连续控制任务	原生支持连续动作 ★★★★	较高
SAC	高维状态输入	自动熵调节 ★★★★☆	较低

注：推荐新手从 DQN 入手，因其实现简单且能快速验证基础逻辑

使用 gym-carla 封装环境接口，关键配置参数：

# 初始化环境示例
env = gym.make('Carla-v0', 
               town='Town05',
               sensors=['lidar', 'camera'],
               observation_space=Dict({'lidar': Box(0, 1, (1080,)),
                   'camera': Box(0, 255, (84, 84, 3))
               }))

采用多模态特征融合方案：

激光雷达处理：将点云投影到 2D 平面并栅格化（128×128 矩阵）
图像处理：
降采样到 84×84 分辨率
使用 CNN 提取特征（ResNet18 前 3 层）
特征拼接：final_state = torch.cat([lidar_feat, image_feat], dim=1)

class DQN(nn.Module):
    def __init__(self, input_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, 512)
        self.fc2 = nn.Linear(512, 256)
        self.out = nn.Linear(256, action_dim)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        return self.out(x)

避免简单二进制奖励（成功 / 失败），推荐分层奖励结构：

R_t = 0.3R_{speed} + 0.5R_{lane} - 0.2R_{collision} + 1.0R_{goal}

使用 torch.multiprocessing.Queue 进行异步数据采集：

data_queue = mp.Queue(maxsize=1000)

# 采集线程
def collect_data():
    while True:
        state, action, reward = env.step()
        data_queue.put((state, action, reward))

在 Town05 地图的测试表现：