基于CarSim的强化学习实战：从环境搭建到策略优化

1次阅读

共计 2310 个字符，预计需要花费 6 分钟才能阅读完成。

刚开始用 CarSim 做强化学习时，我被三个问题折磨得够呛：

物理引擎延迟：CarSim 的计算步长和 RL 算法更新频率对不上，动作指令还没执行完，新状态又来了
状态空间爆炸：100+ 维的车辆状态直接喂给神经网络，训练起来比老牛拉车还慢
奖励函数玄学：调参调到怀疑人生，车子要么不敢动，要么直接撞墙

先解决最基本的通信问题。CarSim 自带的 Python API 太原始，得包一层：

class CarSimEnv:
    def __init__(self, sim_file):
        self.sim = vsvehicles.VSVehicleManager()
        try:
            self.sim.load(sim_file)
        except RuntimeError as e:
            print(f"CarSim 加载失败: {e}")
            self.sim = None

        self.obs_normalizer = None  # 后面会用到

    def step(self, action):
        """
        输入: 方向盘转角[-1,1], 油门刹车[-1,1]
        返回: (state, reward, done, info)
        """
        if not self.sim:
            raise RuntimeError("仿真未初始化")

        # 转换动作到 CarSim 格式
        steer = action[0] * 540  # 转为方向盘角度
        throttle = max(0, action[1])
        brake = max(0, -action[1])

        try:
            self.sim.setControl(steer, throttle, brake)
            self.sim.step()
            state = self._get_state()  # 获取 128 维原始状态
            reward = self._calc_reward(state)
            done = self._check_done(state)
            return state, reward, done, {}
        except Exception as e:
            print(f"步进失败: {e}")
            return None, 0, True, {"error": str(e)}

关键点在这：
1. 动作空间标准化到 [-1,1] 范围
2. 所有 CarSim 操作包在 try-catch 里
3. 返回格式对齐 OpenAI Gym

直接从 CarSim 读出来的状态有 128 维，大部分是冗余信息。用 PCA 砍掉 70%：

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 先收集 1 万组样本
states = []
for _ in range(10000):
    state = env._get_raw_state()  # 原始 128 维
    states.append(state)
states = np.array(states)

# 标准化 + 降维
scaler = StandardScaler()
states_scaled = scaler.fit_transform(states)

pca = PCA(n_components=0.95)  # 保留 95% 方差
states_pca = pca.fit_transform(states_scaled)
print(f"维度从 {states.shape[1]} 降到{states_pca.shape[1]}")

# 保存转换器
import joblib
joblib.dump(scaler, 'state_scaler.pkl')
joblib.dump(pca, 'state_pca.pkl')

降维后典型效果：

原始维度	降维后	方差保留率
128	18	95.2%

单机训练太慢，上 Ray 分布式：

import ray
from ray import tune
from ray.rllib import PPO

ray.init(num_gpus=2)

def train(config):
    env = CarSimEnv("scenarios/highway.sim")

    config = {
        "env": env,
        "num_workers": 4,
        "num_gpus": 0.5,  # 每个 worker 分 0.5 块 GPU
        "framework": "torch",
        "gamma": 0.99,
        "lr": 0.0001,
    }

    analysis = tune.run(
        PPO,
        config=config,
        stop={"timesteps_total": 1000000},
        checkpoint_freq=10,
    )
    return analysis

优化前后性能差异明显：

单帧处理耗时

方案	平均耗时(ms)	峰值内存(MB)
原始 API	42.7	320
优化后	11.2	180

GPU 利用率对比

步长匹配原则
CarSim 步长建议设 10ms
RL 算法更新频率不要超过 100Hz
用 time.sleep 控制节奏

多传感器同步方案

def get_sensor_data():
    # 时间对齐关键：取同一帧的数据
    frame_id = carsim.getCurrentFrame()
    cam_data = camera.get_frame(frame_id)
    lidar_data = lidar.get_scan(frame_id)
    return {"camera": cam_data, "lidar": lidar_data}